Математические основы теории конструирования тестов. Основы теории тестов

Описание презентации по отдельным слайдам:

1 слайд

Описание слайда:

2 слайд

Описание слайда:

Физическими качествам принято называть врожденные (генетически унаследованные) морфофункциональные качества, благодаря которым возможна физическая (материально выраженная) активность человека, получающая свое полное проявление в целесообразной двигательной деятельности. К основным физическим качествам относят силу, быстроту, выносливость, гибкость, ловкость.

3 слайд

Описание слайда:

Двигательные способности- это индивидуальные особенности, определяющие уровень двигательных возможностей человека (В. И. Лях, 1996). Основу двигательных способностей человека составляют физические качества, а форму проявления - двигательные умения и навыки. К двигательным способностям относят силовые, скоростные, скоростно-силовые, двигательно-координационные способности, общую и специфическую выносливость

4 слайд

Описание слайда:

Схема систематизации физических (двигательных) способностей Физические (двигательные) способности Кондиционные (энергетические) Силовые Сочетания кондиционных способностей Выносливость Скоростные Гибкость Координационные (информационные) КС, относящиеся к отдельным группам двигательных действий, специальные КС Специфические КС Сочетания координационных способностей Сочетания кондиционных и координационных способностей

5 слайд

Описание слайда:

ПОЛУЧИТЬ ТОЧНУЮ ИНФОРМАЦИЮ ОБ УРОВНЕ РАЗВИТИЯ ДВИГАТЕЛЬНЫХ СПОСОБНОСТЕЙ /высокий, средний, низкий/ МОЖНО С ПОМОЩЬЮ ТЕСТОВ /или контрольных упражнений/.

6 слайд

Описание слайда:

С помощью контрольных испытаний (тестов) можно выявить абсолютные (явные) и относительные (скрытые, латентные) показатели этих способностей. Абсолютные показатели характеризуют уровень развития тех или иных двигательных способностей без учета их влияния друг на друга. Относительные показатели позволяют судить о проявлении двигательных способностей с учетом этого влияния.

7 слайд

Описание слайда:

Вышеназванные физические способности можно представить как существующие потенциально, т. е. до начала выполнения какой-либо двигательной деятельности или деятельностей (их можно называть потенциальными способностями) и как проявляющиеся реально в начале (в том числе при выполнении моторных тестов) и в процессе выполнения этой деятельности (актуальные физические способности).

8 слайд

Описание слайда:

С определенной долей условности можно говорить об ЭЛЕМЕНТАРНЫХ и физических способностях СЛОЖНЫХ физических способностях

9 слайд

Описание слайда:

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ ПОЗВОЛЯЮТ РАЗЛИЧАТЬ СЛЕДУЮЩИЕ ФИЗИЧЕСКИЕ СПОСОБНОСТИ СПЕЦИАЛЬНЫЕ СПЕЦИФИЧЕСКИЕ ОБЩИЕ КС

10 слайд

Описание слайда:

Специальные физические способности относятся к однородным группам целостных двигательных действий или деятельностей: бегу, акробатическим и гимнастическим упражнениям на снарядах, метательным двигательным действиям, спортивным играм (баскетболу, волейболу).

11 слайд

Описание слайда:

О специфических проявлениях физических способностей можно говорить как о компонентах, составляющих их внутреннюю структуру.

12 слайд

Описание слайда:

Так, основными компонентами координационных способностей человека являются: способности к ориентированию, равновесию, реагированию, дифференцированию параметров движений; способности к ритму, перестроению двигательных действий, вестибулярной устойчивости, произвольному расслаблению мышц. Эти способности являются специфичными.

13 слайд

Описание слайда:

Основными компонентами структуры скоростных способностей считают быстроту реагирования, скорость одиночного движения, частоту движений и скорость, проявляемую в целостных двигательных действиях.

14 слайд

Описание слайда:

К проявлениям силовых способностей относят: статическую (изометрическую) силу, динамическую (изотоническую) силу - взрывную, амортизационную силу.

15 слайд

Описание слайда:

Большой сложностью отличается структура выносливости: аэробная, требующая для своего проявления кислородных источников расщепления энергии; анаэробная (гликолитический, креатинфосфатный источники энергии - без участия кислорода); выносливость различных мышечных групп в статических позах - статическая выносливость; выносливость в динамических упражнениях, выполняемых со скоростью 20-90% от максимальной.

16 слайд

Описание слайда:

Менее сложными являются проявления (формы) гибкости, где выделяют активную и пассивную гибкость.

17 слайд

Описание слайда:

Под общими физическими способностями следует понимать потенциальные и реализованные возможности человека, определяющие его готовность к успешному осуществлению различных по происхождению и смыслу двигательных действий. Специальные физические способности - это возможности человека, определяющие его готовность к успешному осуществлению сходных по происхож­дению и смыслу двигательных действий. Поэтому тесты дают информацию прежде всего о степени сформированности специальных и специфических физических (скоростных, координационных, силовых, выносливости, гибкости) способностей.

18 слайд

Описание слайда:

Специальные физические способности - это возможности человека, определяющие его готовность к успешному осуществлению сходных по происхождению и смыслу двигательных действий. Поэтому тесты дают информацию прежде всего о степени сформированности специальных и специфических физических (скоростных, координационных, силовых, выносливости, гибкости) способностей.

19 слайд

Описание слайда:

Задачи тестирования выявлять уровни развития кондиционных и координационных способностей, оценивать качество технической и тактической подготовленности. На основе результатов тестирования можно: сравнивать подготовленность как отдельных учащихся, так и целых групп, проживающих в разных регионах и странах; проводить спортивный отбор для занятий тем или иным видом спорта, для участия в соревнованиях; осуществлять в значительной степени объективный контроль за обучением (тренировкой) школьников и юных спортсменов; выявлять преимущество и недостатки применяемых средств, методов обучения и форм организации занятий; наконец, обосновывать нормы (возрастные, индивидуальные) физической подготовленности детей и подростков.

20 слайд

Описание слайда:

Наряду с вышеназванными задачами в практике разных стран задачи тестирования сводятся к следующему: научить самих школьников определять уровень своей физической подготовленности и планировать необходимые для себя комплексы физических упражнений; стимулировать учащихся к дальнейшему повышению своего физического состояния (формы); знать не столько исходный уровень развития двигательной способности, сколько его изменение за определенное время; стимулировать учащихся, добившихся высоких результатов, но не столько за высокий уровень, сколько за запланированное повышение личных результатов.

21 слайд

Описание слайда:

Тест - это измерение или испытание, проводимое для определения способностей или состояния человека.

22 слайд

Описание слайда:

В качестве тестов могут использоваться лишь те испытания (пробы), которые отвечают специальным требованиям: должна быть определена цель применения любого теста (или тестов); следует разработать стандартизированную методику измерения результатов в тестах и процедуру тестирования; необходимо определить надежность и информативность тестов; результаты тестов могут быть представлены в соответствующей системе оценки

23 слайд

Описание слайда:

Тест. Тестирование. Результат тестирования Система использования тестов в соответствии с поставленной задачей, организацией условий, выполнением тестов испытуемыми, оценка и анализ результатов называется тестированием. Полученное в ходе измерений числовое значение - результатом тестирования (теста).

24 слайд

Описание слайда:

В основе тестов, используемых в физической культуре, лежат двигательные действия (физические упражнения, двигательные задания). Такие тесты называются двигательными или моторными.

25 слайд

Описание слайда:

Известна классификация тестов по их структуре и по их преимущественным показаниям различают единичный и комплексный тесты. Единичный тест служит для измерения и оценки одного признака (координационной или кондиционной способности).

26 слайд

Описание слайда:

27 слайд

Описание слайда:

С помощью комплексного теста оценивается несколько признаков или компонентов разных или одной и той же способности. например, прыжок вверх с места (со взмахом рук, без взмаха рук, на заданную высоту).

28 слайд

Описание слайда:

29 слайд

Описание слайда:

ТЕСТЫ могут быть кондиционные тесты для оценки силовых способностей для оценки выносливости; для оценки скоростных способностей; для оценки гибкости координационные тесты для оценки координационных способностей, относящихся к отдельным самостоятельным группам двигательных действий, которые измеряют специальные координационные способности; для оценки специфических координационных способностей - способностей к равновесию, ориентированию в пространстве, реагированию, дифференцированию параметров движений, ритму, перестроению двигательных действий, согласованию (связи), вестибулярной устойчивости, произвольному расслаблению мышц).

30 слайд

Описание слайда:

Каждая классификация – это своеобразные ориентиры для выбора (или создания) того типа тестов, которые в большей мере соответствуют задачам тестирования.

31 слайд

Описание слайда:

КРИТЕРИИ ДОБРОТНОСТИ ДВИГАТЕЛЬНЫХ ТЕСТОВ понятие «двигательный тест» отвечает своему назначению тогда, когда тест удовлетворяет соответствующим основным критериям: надежности, стабильности, эквивалентности, объективности, информативности (валидности), а также дополнительным критериям: нормированию, сопоставляемости и экономичности. Тесты, удовлетворяющие требованиям надежности и информативности, называют добротными, или аутентичными (достоверными).

32 слайд

Описание слайда:

Под надежностью теста понимают степень точности, с которой он оценивает определенную двигательную способность независимо от требований того, кто ее оценивает. Надежность проявляется в степени совпадения результатов при повторном тестировании одних и тех же людей в одинаковых условиях; это стабильность или устойчивость результата теста индивида при повторном проведении контрольного упражнения. Другими словами, ребенок в группе обследуемых по результатам повторных тестирований (например, показа­телей прыжков, времени бега, дальности метания) устойчиво сохраняет свое ранговое место. Надежность теста определяется с помощью корреляционно-статистического анализа путем расчета коэффициента надежности. При этом используют различные способы, на основании которых судят о надежности теста.

33 слайд

Описание слайда:

Стабильность теста основывается на зависимости между первой и второй попытками, повторенными через определенное время в одинаковых условиях одним и тем же экспериментатором. Способ повторного тестирования на определение надежности называется ретестом. Стабильность теста зависит от вида теста, возраста и пола испытуемых, временного интервала между тестом и ретестом. Например, показатели кондиционных тестов или морфологических признаков при небольших временных интервалах более стабильны, чем результаты координационных тестов; у более старших детей - результаты стабильнее, чем у более младших. Ретест обычно проводится не позднее, чем через неделю. При более длительных интервалах (например, через месяц) стабильность даже таких тестов, как бег на 1000 м или прыжок в длину с места, становится уже заметно ниже.

34 слайд

Описание слайда:

Эквивалентность теста Эквивалентность теста заключается в корреляции результата теста с результатами других однотипных тестов. Например, когда надо выбрать, какой тест более адекватно отражает скоростные способности: бег на 30, 50, 60 или 100 м. Отношение к эквивалентным (гомогенным) тестам зависит от многих причин. Если надо повысить надежность оценок или выводов исследования, тогда целесообразно использовать два и больше эквивалентных теста. А если стоит задача создать батарею, содержащую минимум тестов, тогда следует применять только один из эквивалентных тестов. Такая батарея, как отмечалось, является гетерогенной, так как входящие в нее тесты измеряют разные двигательные способности. Примером гетерогенной батареи тестов является бег на 30 м, подтягивание на перекладине, наклон вперед, бег на 1000 м.

35 слайд

Описание слайда:

Надежность тестов определяют также по сопоставлению средних оценок четных и нечетных попыток, входящих в тест. Например, среднюю точность бросков в цель из 1, 3, 5, 7 и 9 попыток сравнивают со средней точностью бросков из 2, 4, 6, 8 и 10 попыток. Такой метод оценки надежности называется методом удвоения, или расщеплением. Он используется преимущественно при оценке координационных способностей и в том случае, если число попыток, образующих тестовый результат, не меньше шести.

36 слайд

Описание слайда:

Под объективностью (согласованностью) теста Под объективностью (согласованностью) теста понимают степень согласованности результатов, получаемых на одних и тех же испытуемых разными экспериментаторами (учителями, судьями, экспертами). Для повышения объективности тестирования необходимо соблюдение стандартных условий проведения теста: время тестирования, место, погодные условия; единое материальное и аппаратурное обеспечение; психофизиологические факторы (объем и интенсивность нагрузки, мотивация); подача информации (точная словесная постановка задачи теста, объяснение и демонстрация). Это так называемая объективность проведения теста. Говорят еще об интерпретационной объективности, касающейся степени независимости интерпретации результатов тестирования разными экспериментаторами.

37 слайд

Описание слайда:

В целом, как отмечают специалисты, надежность тестов можно повысить различными путями: более строгой стандартизацией тестирования, увеличением числа попыток, лучшей мотивацией испытуемых, увеличением числа оценщиков (судей, экспертов), повышением согласованности их мнений, увеличением числа эквивалентных тестов. Фиксированных значений показателей надежности теста не имеется. В большинстве случаев пользуются следующими рекомендациями: 0,95 - 0,99 - отличная надежность; 0,90 -- 0,94 -- хорошая; 0,80 -- 0,89 -- приемлемая; 0,70 - 0,79 - плохая; 0,60 - 0,69 - для индивидуальных оценок сомнительная, тест пригоден только для характеристики группы испытуемых.

38 слайд

Описание слайда:

Информативность теста это степень точности, с какой он измеряет оцениваемую двигательную способность или навык. В иностранной (и отечественной) литературе используют вместо слова «информативность» термин «валидность» (от англ. validity-обоснованность, действительность, законность). Фактически, говоря об информативности, исследователь отвечает на два вопроса: что измеряет данный конкретный тест (батарея тестов) и какова при этом степень точности измерения. Различают несколько видов валидности: логическую (содержательную), эмпирическую (на основании опытных данных) и предсказательную.

39 слайд

Описание слайда:

Важными дополнительными критериями тестов, как отмечалось, являются нормирование, сопоставляемостъ и экономичность. Суть нормирования состоит в том, что на основе результатов тестирования можно создать нормы, имеющие особое значение для практики. Сопоставляемостъ теста заключается в возможности сравнивать результаты, полученные по одному или нескольким формам параллельных (гомогенных) тестов. В практическом плане применение сопоставляемых моторных тестов снижает вероятность того, что в результате регулярного применения одного и того же теста оценивается не только и не столько уровень способности, сколько степень навыка. Одновременно сопоставляемые результаты тестов повышают достоверность выводов. Суть экономичности как критерия добротности теста состоит в том, что проведение теста не требует длительного времени, больших материальных затрат и участия многих помощников.

40 слайд

Описание слайда:

ОРГАНИЗАЦИЯ ТЕСТИРОВАНИЯ ПОДГОТОВЛЕННОСТИ ДЕТЕЙ ШКОЛЬНОГО ВОЗРАСТА Второй важной проблемой тестирования двигательных способностей (напомним, что первая - отбор информативных тестов, является организация их применения. Учитель физической культуры должен определить: в какие сроки лучше организовать тестирование, как осуществлять его на уроке и как часто следует проводить тестирование. Сроки тестирования согласуются со школьной программой, которая предусматривает обязательное двухразовое тестирование физической подготовленности учащихся.

41 слайд

Описание слайда:

Знание годичных изменений в развитии двигательных способностей детей позволяет учителю вносить соответствующие коррективы в процесс физической культуры на следующий учебный год. Однако учитель должен и может проводить более частое тестирование, вести так называемый оперативный контроль. Это целесообразно делать для того, чтобы определить, например, изменение уровня скоростных, силовых способностей и выносливости под влиянием уроков легкой атлетики в течение первой четверти. С этой целью учитель может применить тесты для оценки координационных способностей детей в начале и в конце освоения материала программы, например, по спортивным играм, для выявления изменения показателей развития этих способностей.

42 слайд

Описание слайда:

Следует учитывать, что разнообразие решаемых педагогических задач не позволяет предоставить учителю унифицированную методику тестирования, одинаковых правил проведения тестов и оценки результатов тестирования. Это требует от экспериментаторов (учителей) проявления самостоятельности в решении теоретико-методологических и организационных вопросов тестирования. Тестирование на уроке необходимо увязать с его содержанием. Другими словами, примененный тест или тесты при соблюдении соответствующих требований (как к методу исследования) должны органически входить в состав запланированных физических упражнений. Если, допустим, у детей требуется определить уровень развития скоростных способностей или выносливости, то необходимые тесты следует запланировать в ту часть урока, в которой будут решаться задачи развития соответствующих физических способностей.

43 слайд

Описание слайда:

Частота проведения тестирования во многом определяется темпами развития конкретных физических способностей, возрастно-половыми и индивидуальными особенностями их развития. Например, чтобы добиться существенного прироста быстроты, выносливости или силы, требуется несколько месяцев регулярных занятий (тренировок). В то же время для того, чтобы получить достоверный прирост гибкости или отдельных координационных способностей, требуется всего 4-12 тренировок. Достичь улучшения физического качества, если начинать «с нуля», можно и за более короткий срок. А для того, чтобы улучшить это же качество, когда оно у ребенка высокого уровня, требуется больше времени. В этой связи учитель должен глубже изучить особенности развития и совершенствования разных двигательных способностей у детей в разные возрастно-половые периоды.

44 слайд

Описание слайда:

При оценке общей физической подготовленности детей можно использовать самые разнообразные батареи тестов, выбор которых зависит от конкретных задач тестирования и наличия необходимых условий. Однако в связи с тем, что полученные результаты тестирования можно оценивать лишь путем сравнения, целесообразно выбирать тесты, которые широко представлены в теории и практике физического воспитания детей. Например, опираться на те, которые рекомендованы в программе по ФК. Для сравнения общего уровня физической подготовленности ученика или группы учащихся с помощью комплекса тестов прибегают к переводу результатов тестирования в очки или баллы. Изменение суммы очков при повторных тестированиях позволяет судить о прогрессе как отдельного ребенка, так и группы детей.

49 слайд

Описание слайда:

Важной стороной тестирования является проблема выбора теста для оценки конкретной физической способности и общей физической подготовленности.

50 слайд

Описание слайда:

Практические рекомендации и советы. ВАЖНО: Определить (выбрать) батарею (или совокупность) необходимых тестов с подробным изложением всех деталей их проведения; Установить сроки тестирования (лучше - 2-3 недели сентября - 1-е тестирование, 2-3 недели мая - 2-е тестирование); В соответствии с рекомендацией точно определить возраст детей на день тестирования и их пол; Разработать единые протоколы регистрации данных (возможно на основе использования ИКТ); Определить круг помощников и осуществить саму процедуру тестирования; Сразу провести математическую обработку данных тестирования - вычисление основных статистических параметров (средняя арифметическая, ошибка средней арифметической, стандартное отклонение, коэффициент вариации и оценки достоверности различий между средними арифметическими показателями, например параллель классов одной и той же и разных школ детей такого-то возраста и пола); Одним из значительных этапов работы может быть перевод результатов тестирования в очки или баллы. При регулярном тестировании (2 раза в год, в течение нескольких лет) это позволит учителю иметь представление о прогрессе результатов.

51 слайд

Описание слайда:

Москва «Просвещение» 2007 Книга содержит наиболее распространённые двигательные тесты по оценке кондиционных и координационных способностей учащихся. Пособие предусматривает индивидуальный подход учителя физической культуры к каждому конкретному ученику с учётом его возраста и телосложения.

Области применения, цели и задачи тестирования ПО разнообразны, поэтому тестирование оценивается и объясняется по-разному. Иногда и самим тестировщикам бывает сложно объяснить, что такое тестирование ПО "as is". Возникает путаница.

Для распутывания этой путаницы Алексей Баранцев (практик, тренер и консалтер в тестировании ПО; выходец из Института системного программирования Российской академии наук) предваряет свои тренинги по тестированию вводным видео про основные положения тестирования.

Мне кажется, что в этом докладе лектор смог наиболее адекватно и взвешенно объяснить «что такое тестирование» с точки зрения ученого и программиста. Странно, что этот текст еще не появлялся на хабре.

Привожу здесь сжатый пересказ этого доклада. В конце текста есть линки на полную версию, а также на упомянутое видео.

Основные положения тестирования

Сначала попробуем понять, чем тестирование НЕ является.

Тестирование не разработка ,

Даже если тестировщики умеют программировать, в том числе и тесты (автоматизация тестирование = программирование), могут разрабатывать какие-то вспомогательные программы (для себя).

Тем не менее, тестирование - это не деятельность по разработке программного обеспечения.

Тестирование не анализ ,

И не деятельность по сбору и анализу требований.

Хотя, в процессе тестирования иногда приходится уточнять требования, а иногда приходится их анализировать. Но эта деятельность не основная, скорее, это приходится делать просто по необходимости.

Тестирование не управление ,

Несмотря на то, что во многих организациях есть такая роль, как «тест-менеджер». Конечно же, тестировщиками надо управлять. Но само по себе тестирование управлением не является.

Тестирование не техписательство ,

Однако тестировщикам приходится документировать свои тесты и свою работу.

Тестирование нельзя считать ни одной из этих деятельностей просто потому, что в процессе разработки (или анализа требований, или написания документации для своих тестов) всю эту работу тестировщики делают для себя , а не для кого-то другого.

Деятельность значима только тогда, когда она востребована, то есть тестировщики должны что-то производить «на экспорт». Что они делают «на экспорт»?

Дефекты, описания дефектов, или отчеты о тестировании? Частично это правда.

Но это не вся правда.

Главная деятельность тестировщиков

«Отрицательная обратная связь» не несет какой-то негативный оттенок, и не означает, что тестировщики делают что-то плохое, или что они делают что-то плохо. Это просто технический термин, который обозначает достаточно простую вещь.

Но эта вещь очень значимая, и, наверное, единственная наиболее значимая составляющая деятельности тестировщиков.

Существует наука - «теория систем ». В ней определяется такое понятие как «обратная связь».

«Обратная связь» это некоторые данные, которые с выхода попадают обратно на вход, или какая-то часть данных, которые с выхода попадают обратно на вход. Эта обратная связь может быть положительной и отрицательной.

И та, и другая разновидности обратной связи равноценно важны.

В разработке программных систем положительной обратной связью, конечно же, является какая-то информация, которую мы получаем от конечных пользователей. Это запросы на какую-то новую функциональность, это увеличение объема продаж (если мы выпускаем качественный продукт).

Отрицательная обратная связь тоже может поступать от конечных пользователей в виде каких-то негативных отзывов. Либо она может поступать от тестировщиков.

Чем раньше предоставляется отрицательная обратная связь, тем меньше энергии необходимо для модификации этого сигнала. Именно поэтому тестировать нужно начинать как можно раньше, на самых ранних стадиях проекта, и предоставлять эту обратную связь и на этапе проектирования, и еще, может быть, раньше, еще на этапе сбора и анализа требований.

К слову, отсюда и произрастает понимание того, что тестировщики не отвечают за качество. Они помогают тем, кто за него отвечает.

Синонимы термина «тестирование»

Нельзя считать обеспечением качества простое предоставление отрицательной обратной связи, ведь Обеспечение - это некоторые позитивные меры. Подразумевается, что в этом случае мы именно обеспечиваем качество, своевременно предпринимаем какие-то меры для того, чтобы качество разработки ПО повысилось.

А вот «контроль качества» - Quality Control, можно считать в широком смысле синонимом для термина «тестирование», потому что контроль качества это и есть предоставление обратной связи в самых разных ее разновидностях, на самых разных этапах программного проекта.

Иногда тестирование подразумевается как некоторая отдельная форма контроля качества.

Путаница приходит из истории развития тестирования. В разное время под термином «тестирование» подразумевались различные действия, которые можно разделить на 2 больших класса: внешние и внутренние.

Внешние определения

Внутренние определения

Такие определения конструктивно объясняют, ЧТО представляет из себя деятельность по тестированию, но не дают ни малейшего представления о том, ДЛЯ ЧЕГО нужно тестирование, для чего потом будут использоваться все полученные результаты проверки соответствия между реальным поведением программы и ее ожидаемым поведением.

тестирование - это

• проверка соответствия программы требованиям,
• осуществляемая путем наблюдения за ее работой
• в специальных, искусственно созданных ситуациях, выбранных определенным образом.

Общая схема тестирования примерно следующая:

1. Тестировщик на входе получает программу и/или требования.
2. Он с ними что-то делает, наблюдает за работой программы в определенных, искуственно созданных им ситуациях.
3. На выходе он получает информацию о соответствиях и несоответствиях.
4. Далее эта информация используется для того, чтобы улучшить уже существующую программу. Либо для того, чтобы изменить требования к еще только разрабатываемой программе.

Что такое тест

• Это специальная, искусственно созданная ситуация, выбранная определенным образом,
• и описание того, какие наблюдения за работой программы нужно сделать
• для проверки ее соответствия некоторому требованию.

Разработчик тестов занимается тем, что он из огромного потенциально бесконечного набора тестов выбирает некоторый ограниченный набор.

Ну и таким образом мы можем заключить, что тестировщик делает в процессе тестирования две вещи.

1.Во-первых, он управляет выполнением программы и создает эти самые искусственные ситуации, в которых мы собираемся проверять поведение программы.

2.И, во-вторых, он наблюдает за поведением программы и сравнивает то, что он видит с тем, что ожидается.

Если тестировщик автоматизирует тесты, то он не сам наблюдает за поведением программы - он делегирует эту задачу специальному инструменту или специальной программе, которую он сам написал. Именно она наблюдает, она сравнивает наблюдаемое поведение с ожидаемым, а тестировщику выдает только некоторый конечный результат - совпадает ли наблюдаемое поведение с ожидаемым, или не совпадает.

Любая программа представляет собой механизм по переработке информации. На вход поступает информация в каком-то одном виде, на выходе информация в некотором другом виде. При этом входов и выходов у программы может быть много, они могут быть разными, то есть у программы может быть несколько разных интерфейсов, и эти интерфейсы могут иметь разные виды:

• Пользовательский интерфейс (UI)
• Программный интерфейс (API)
• Сетевой протокол
• Файловая система
• Состояние окружения
• События

• пользовательский,
• графический,
• текстовый,
• консольный,
• и речевой.

• каким-то образом создает искусственные ситуации,
• и проверяет в этих ситуациях как программа себя ведет.

Вот это и есть тестирование.

Другие классификации видов тестирования

1. модульное тестирование,
2. интеграционное тестирование,
3. системное тестирование.

Под системным тестированием подразумевается тестирование на уровне пользовательского интерфейса.

Иногда используются также некоторые другие термины, такие, как «компонентное тестирование», но я предпочитаю выделять именно эти три, по причине того, что технологическое разделение на модульное и системное тестирование не имеет большого смысла. На разных уровнях могут использоваться одни и те же инструменты, одни и те же техники. Разделение условно.

Практика показывает, что инструменты, которые позиционируются производителем как инструменты модульного тестирования, с равным успехом могут применяться и на уровне тестирования всего приложения в целом.

А инструменты, которые тестируют все приложение в целом на уровне пользовательского интерфейса иногда хотят заглядывать, например, в базу данных или вызывать там какую-то отдельную хранимую процедуру.

То есть разделение на системное и модульное тестирование вообще говоря чисто условное, если говорить с технической точки зрения.

Используются одни и те же инструменты, и это нормально, используются одни и те же техники, на каждом уровне можно говорить о тестировании различного вида.

Комбинируем:

То есть, можно говорить о модульном тестировании функциональности.

Можно говорить о системном тестировании функциональности.

Можно говорить о модульном тестировании, например, эффективности.

Можно говорить о системном тестировании эффективности.

Либо мы рассматриваем эффективность какого-то отдельно взятого алгоритма, либо мы рассматриваем эффективность всей системы в целом. То есть технологическое разделение на модульное и системное тестирование не имеет большого смысла. Потому что на разных уровнях могут использоваться одни и те же инструменты, одни и те же техники.

Наконец, при интеграционном тестировании мы проверяем, если в рамках какой-то системы модули взаимодействуют друг с другом корректно. То есть, мы фактически выполняем те же самые тесты, что и при системном тестировании, только еще дополнительно обращаем внимание на то, как именно модули взаимодействуют между собой. Выполняем некоторые дополнительные проверки. Это единственная разница.

Давайте еще раз попытаемся понять разницу между системным и модульным тестированием. Поскольку такое разделение встречается достаточно часто, эта разница должна быть.

И разница эта проявляется тогда, когда мы выполняем не технологическую классификацию, а классификацию по целям тестирования.

Классификацию по целям удобно выполнять с использованием «магического квадрата», который был изначально придуман Брайаном Мариком и потом улучшен Эри Тенненом.

В этом магическом квадрате все виды тестирования располагаются по четырем квадрантам в зависимости от того, чему в этих тестах больше уделяется внимания.

По вертикали - чем выше располагается вид тестирования, тем больше внимания уделяется некоторым внешним проявлениям поведения программы, чем ниже он находится, тем больше мы внимания уделяем ее внутреннему технологическому устройству программы.

По горизонтали - чем левее находятся наши тесты, тем больше внимания мы уделяем их программированию, чем правее они находятся, тем больше внимания мы уделяем ручному тестированию и исследованию программы человеком.

В частности, в этот квадрат можно легко вписать такие термины как приемочное тестирование, Acceptance Testing, модульное тестирование именно в том понимании, в котором оно чаще всего употребляется в литературе. Это низкоуровневое тестирование с большой, с подавляющей долей программирования. То есть это все тесты программируются, полностью автоматически выполняются и внимание уделяется в первую очередь именно внутреннему устройству программы, именно ее технологическим особенностям.

В правом верхнем углу у нас окажутся ручные тесты, нацеленные на внешнее какое-то поведение программы, в частности, тестирование удобства использования, а в правом нижнем углу у нас, скорее всего, окажутся проверки разных нефункциональных свойств: производительности, защищенности и так далее.

Так вот, исходя из классификации по целям, модульное тестирование у нас оказывается в левом нижнем квадранте, а все остальные квадранты - это системное тестирование.

Спасибо за внимание.

Основы теории тестов 1. Основные понятия теории тестов 2. Надежность тестов и пути ее определения

Контрольные вопросы 1. Что называется тестом? 2. Какие требования предъявляются к тесту? 3. Какие тесты называются аутентичными? 4. Что называется надежностью теста? 5. Перечислить причины, вызывающие вариацию результатов при повторном тестировании. 6. В чем отличие внутриклассовой вариации от межклассовой? 7. Как практически определить надежность теста? 8. В чем отличие согласованности тестов от стабильности? 9. В чем заключается эквивалентность тестов? 10. Что такое гомогенный комплекс тестов? 11. Что такое гетерогенный комплекс тестов? 12. Пути повышения надежности тестов.

Тест - это измерение или испытание, проводимое с целью определения состояния или способностей человека. Не всякие измерения могут быть использованы как тесты, а только те, которые отвечают специальным требованиям. К ним относятся: 1. стандартизованность (процедура и условия тестирования должны быть одинаковыми во всех случаях применения теста); 2. надежность; 3. информативность; 4. наличие системы оценок.

Требования тестов: n Информативность - степень точности, с которой он измеряет свойство (качество, способность, характеристику), для оценки которой используется. n Надежность - степень совпадения результатов при повторном тестировании одних и тех же людей в одинаковых условиях. Согласованность - (разные люди, но одинаковые приборы и одинаковые условия). n n Стандартность условий - (однаковые условия при повторных измерениях). n Наличие системы оценок - (перевод в систему оценок. Как в школе 5 -4 -3. . .).

Тесты, удовлетворяющие требованиям надежности и информативности, называют добротными или аутентичными (греч. аутентико - достоверным образом)

Процесс испытаний называется тестированием; полученное в итоге измерения числовое значение - результатом тестирования (или результатом теста). Например, бег 100 м - это тест, процедура проведения забегов и хронометража - тестирование, время забега - результат теста.

Тесты, в основе которых лежат двигательные задания, называют двигательными или моторными. Результатами их могут быть либо двигательные достижения (время прохождения дистанции, число повторений, пройденное расстояние и т. п.), либо физиологические и биохимические показатели.

Иногда используется не один, а несколько тестов, имеющих единую конечную цель (например, оценку состояния спортсмена в соревновательном периоде тренировки). Такая группа тестов называется комплексом или батареей тестов.

Один и тот же тест, примененный к одним и тем же исследуемым, должен дать в одинаковых условиях совпадающие результаты (если только не изменились сами исследуемые). Однако при самой строгой стандартизации и точной аппаратуре результаты тестирования всегда несколько варьируют. Например, исследуемый, только что показавший в тесте становой динамометрии результат 215 к. Г, при повторном выполнении показывает лишь 190 к. Г.

Надежность тестов и пути ее определения Надежностью теста называется степень совпадения результатов при повторном тестировании одних и тех же людей (или других объектов) в одинаковых условиях.

Вариацию результатов при повторном тестировании называют внутри индивидуальной, или внутри групповой, либо внутриклассовой. Четыре основные причины вызывают эту вариацию: 1. Изменение состояния исследуемых (утомление, врабатывание, «научение» , изменение мотивации, концентрации внимания и т. п.). 2. Неконтролируемые изменения внешних условий и аппаратуры (температура, ветер, влажность, напряжение в электросети, присутствие посторонних лиц и т. п.), т. е. все то, что объединяется термином “случайная ошибка измерения”.

Четыре основные причины вызывают эту вариацию: 3. Изменение состояния человека, проводящего или оценивающего тест (и, конечно, замена одного экспериментатора или судьи другим). 4. Несовершенство теста (есть такие тесты, которые заведомо малонадежные. Например, если исследуемые выполняют штрафные броски в баскетбольную корзину, то даже баскетболист, имеющий высокий процент попаданий, может случайно ошибиться при первых бросках).

Понятие об истинном результате теста является абстракцией (в опыте измерить нельзя). Поэтому приходится использовать косвенные методы. Наиболее предпочтителен для оценки надежности дисперсионный анализ с последующим расчетом внутриклассовых коэффициентов корреляции. Дисперсионный анализ позволяет разложить зарегистрированную в опыте вариацию результатов теста на составляющие, обусловленные влиянием отдельных факторов.

Если зарегистрировать у исследуемых их результаты в какомлибо тесте, повторяя этот тест в разные дни, причем каждый день делать по несколько попыток, периодически меняя экспериментаторов, то будут иметь место вариации: а) от испытуемого к испытуемому; n б) ото дня ко дню; n в) от экспериментатора к экспериментатору; n г) от попытки к попытке. Дисперсионный анализ дает возможность выделить и оценить эти вариации. n

Таким образом, чтобы оценить практически надежность теста надо, n во-первых, выполнить дисперсионный анализ, n во-вторых, рассчитать внутриклассовый коэффициент корреляции (коэффициент надежности).

Говоря о надежности тестов, необходимо различать их стабильность (воспроизводимость), согласованность, эквивалентность. n n Под стабильностью теста понимают воспроизводимость результатов при его повторении через определенное время в одинаковых условиях. Повторное тестирование обычно называют ретестом. Согласованность теста характеризуется независимостью результатов тестирования от личных качеств лица, проводящего или оценивающего тест.

Если все тесты, входящие в какойлибо комплекс тестов, высоко эквивалентны, он называется гомогенным. Весь этот комплекс измеряет одно какое -то свойство моторики человека (например, комплекс, состоящий из прыжков с места в длину, вверх и тройного; оценивается уровень развития скоростно-силовых качеств). Если в комплексе нет эквивалентных тестов, то есть тесты, входящие в него, измеряют разные свойства, то он называется гетерогенным (например, комплекс, состоящий из становой динамометрии, прыжка вверх по Абалакову, бега на 100 м).

Надежность тестов может быть повышена до определенной степени путем: n n n а) более строгой стандартизации тестирования; б) увеличения числа попыток; в) увеличения числа оценщиков (судей, экспериментов) и повышения согласованности их мнений; г) увеличения числа эквивалентных тестов; д) лучшей мотивации исследуемых.

Измерение или испытание, проводимое с целью определения состояния или способностей спортсмена, называется тестом . Не всякие измерения могут быть использованы как тесты, а только те, которые отвечают специальным требованиям: стандартность, наличие системы оценок, надежность, информативность, объективность. Тесты, удовлетворяющие требованиям надежности, информативности и объективности, называют добротными .

Процесс испытания называется тестированием , а полученные в итоге измерения числовые значения – результатом тестирования.

Тесты, в основе которых лежат двигательные задачи, называют двигательными или моторными . В зависимости от задания, которое стоит перед исследуемым, различают три группы двигательных тестов.

Разновидности двигательных тестов

Иногда используется не один, а несколько тестов, имеющих единую конечную цель. Такая группа тестов называется батареей тестов .

Известно, что даже при самой строгой стандартизации и точной аппаратуре результаты тестирования всегда несколько варьируют. Поэтому, одним из важным условий подбора добротных тестов является их надежность.

Надежностью теста называется степень совпадения результатов при повторном тестировании одних и тех же людей в одинаковых условиях. Различают четыре основные причины вызывающие внутрииндивидуальной или внутригрупповой вариации результатов тестирования:

изменение состояния испытуемых (утомление, изменение мотивации и т.п.); неконтролируемые изменения внешних условий и аппаратуры;

изменение состояния человека, проводящего или оценивающего тест (самочувствие, замена экспериментатора и т.п.);

несовершенство теста (например, заведомо несовершенные и малонадежные тесты – штрафные броски в баскетбольную корзину до первого промаха и т.п.).

Критерием надежности теста может служить коэффициент надежности, рассчитанный как отношение истинной дисперсии к дисперсии, зарегистрированной в опыте: r = истинная s 2 / зарегистрированная s 2 , где под истинным значением понимают дисперсию, полученную при бесконечно большом числе наблюдений в одинаковых условиях; регистрируемая дисперсия выводится из опытных исследований. Иными словами, коэффициент надежности есть просто доля истинной вариации в той вариации, которая зарегистрирована в опыте.

Кроме этого коэффициента используют еще индекс надежности , который рассматривают как теоретический коэффициент корреляции или связи между зарегистрированным и истинным значениями одного и того же теста. Этот способ наиболее распространен как критерий оценки качества (надежности) теста.

Одной из характеристик надежности теста является его эквивалентность , что отражает степень совпадения результатов тестирования одного и того же качества (например, физического) разными тестами. Отношение к эквивалентности тестов зависит от конкретной задачи. С одной стороны, если два или больше тестов эквивалентны, их совместное применение повышает надежность оценок; с другой – представляется возможным применить только один эквивалентный тест, что упростит тестирование.

Если все тесты, входящие в какую-либо батарею тестов, высокоэквивалентны, они называются гомогенными (например, для оценки качества прыгучести гомогенными, надо полагать, будут прыжки с места в длину, вверх, тройным). Наоборот, если в комплексе нет эквивалентных тестов (как например, для оценки общей физической подготовленности), то все тесты входящие в него, измеряют разные свойства, т.е. по существу комплекс является гетерогенным.

Надежность тестов может быть повышена до определенной степени путем:

более строгой стандартизацией тестирования;

увеличения числа попыток;

увеличение числа оценщиков и повышения согласованности их мнений;

увеличения числа эквивалентных тестов;

лучшей мотивации испытуемых.

Объективность теста есть частный случай надежности, т.е. независимость результатов тестирования от лица, проводящего тест.

Информативность теста – это степень точности, с какой он измеряет свойство (качество спортсмена), для оценки которого используется. В разных случаях одни и те же тесты могут иметь разную информативность. Вопрос об информативности теста распадается на два частных вопроса:

Что изменяет данный тест? Как точно он измеряет?

Например, можно ли по такому показателю, как МПК, судить о подготовленности бегунов-стайеров, и если можно, то с какой степенью точности? Можно ли использовать этот тест в процессе контроля?

Если тест используется для определения состояния спортсмена в момент обследования, то говорят о диагностической информативности теста. Если же на основе результатов тестирования хотят сделать вывод о возможных будущих показателях спортсмена, говорят о прогностической информативности. Тест может быть диагностически информативен, а прогностически нет и наоборот.

Степень информативности может характеризоваться количественно – на основе опытных данных (так называемая эмпирическая информативность) и качественно – на основе содержательного анализа ситуации (логическая информативность). Хотя в практической работе логический, или содержательный анализ всегда должен предшествовать математическому. Показателем информативности теста служит коэффициент корреляции, рассчитанный для зависимости - критерия от результата в тесте, и наоборот (в качестве критерия берется показатель, заведомо отражающий то свойство, которое собираются измерять с помощью теста).

В случаях недостаточности информативности какого-либо теста прибегают к использованию батареи тестов. Однако последнее, даже при наличие высоких раздельных критериев информативности (судя по коэффициентам корреляции), не позволяет получить единое число. Здесь на помощь может прийти более сложный метод математической статистики – факторный анализ. Который позволяет определить, сколько и какие тесты совместно действуют на отдельный фактор и какова степень их вклада в каждый фактор. А затем уже легко выбрать тесты (или их комбинации), которые наиболее точно оценивают отдельные факторы.

ОСНОВЫ ТЕОРИИ ОЦЕНОК

Для оценивания спортивных результатов часто прибегают к специальным таблицам очков. Цель таких таблиц – преобразование показанного спортивного результата (выраженного в объективных мерах) в условные очки. Закон преобразования спортивных результатов в очки называется шкалой оценок . Шкала может быть задана в виде математического выражения, таблицы или графика. Различают 4 основных типа шкал, используемых в спорте и физическом воспитании.

Пропорциональные шкалы

Регрессирующие шкалы

Прогрессирующие шкалы.

Пропорциональные шкалы предполагают начисление одинакового числа очков за равный прирост результатов (например, за каждые 0,1 с улучшения результата в беге на 100 м начисляется 20 очков). Такие шкалы используются в современном пятиборье, конькобежном спорте, гонках на лыжах, лыжном двоеборье, биатлоне и других видах спорта.

Регрессирующие шкалы предполагают начисление, за один и тот же прирост результата по мере возрастания спортивных достижений, все меньшее число очков (например, за улучшение результата в беге на 100 м с 15, 0 до 14.9 с добавляют 20 очков, а за 0,1 с в диапазоне 10,0-9,9 с – только 15 очков).

Прогрессирующие шкалы. Здесь чем выше спортивный результат, тем большей прибавкой очков оценивается его улучшение (например, за улучшение времени в беге от 15,0 до 14,9 с добавляют 10 очков, а от 10,0 до 9,9 с – 100 очков). Прогрессирующие шкалы применяются в плавании, отдельных видах легкой атлетики, тяжелой атлетике.

Сигмовидные шкалы редко используются в спорте, но широко применяются при оценке физической подготовленности (например, так выглядит шкала стандартов физической подготовленности населения США). В этих шкалах улучшение результатов в зоне очень низких и очень высоких достижений поощряются скупо; больше всего очков приносит прирост результатов в средней зоне достижений.

Основными задачами оценивания являются:

сопоставить разные достижения в одном и том же задании;

сопоставить достижения в разных заданиях;

определить нормы.

Нормой в спортивной метрологии называется граничная величина результата, служащая основой для отнесения спортсмена к одной из классификационных групп. Существует три вида норм: сопоставительные, индивидуальные, должные.

Сопоставительные нормы имеют в своей основе сравнение людей, принадлежащих к одной и той же совокупности. Например, разбиение людей на подгруппы по степени устойчивости (высокой, средней, низкой) или реактивности (гиперреактивные, нормореактивные, гипореактивные) к гипоксии.

Разные градации оценок и норм

Эти нормы характеризуют лишь сравнительные успехи испытуемых в данной совокупности, но ничего не говорят о совокупности в целом (или в среднем). Поэтому сопоставительные нормы должны сравниваться с данными, полученными на других совокупностях, и использоваться в сочетании с индивидуальными и должными нормами.

Индивидуальные нормы основаны на сравнении показателей одного и того же спортсмена в разных состояниях. Например, во многих видах спорта нет зависимости между собственным весом тела и спортивным результатом. У каждого спортсмена есть индивидуально оптимальный вес, соответствующий состоянию спортивной формы. Эту норму можно контролировать на разных этапах спортивной подготовки.

Должные нормы основаны на анализе того, что должен уметь человек, чтобы успешно справляться с задачами, которые перед ним ставит жизнь. Примером этому могут служить нормативы отдельных комплексов по физической подготовке, должные величины ЖЕЛ, основного обмена, массы и роста тела, и т.п.

ОСНОВНЫЕ ПОНЯТИЯ КВАЛИМЕТРИИ

Квалиметрия (лат. qualitas – качество, metron – мера) изучает и разрабатывает количественные методы оценки качественных признаков.

В основе квалиметрии лежит несколько исходных положений:

Любое качество можно измерить;

Качество зависит от ряда свойств, образующих “древо качества” (например, древо качества исполнения упражнений в фигурном катании состоит из трех уровней – высшего, среднего, низшего);

Каждое свойство определяется двумя числами: относительным показателем и весомостью; сумма весомостей свойств на каждом уровне равна единице (или 100%).

Методические приемы квалиметрии делятся на две группы:

Эвристические (интуитивные), основанные на экспертных оценках и анкетировании;

Инструментальные.

Экспертной называется оценка, получаемая путем выяснения мнений специалистов. Характерные примеры экспертизы: судейство в гимнастике и фигурном катании на коньках, конкурс на лучшую научную работу и т.п.

Проведение экспертизы включает следующие основные этапы: формирование ее цели, подбор экспертов, выбор методики, проведение опроса и обработку полученной информации, в том числе оценку согласованности индивидуальных экспертных оценок. При экспертизе большое значение имеет степень согласованности мнений экспертов, оцениваемая по величине рангового коэффициента корреляции (в случае нескольких экспертов). Следует заметить, что ранговая корреляция лежит в основе решения многих задач квалиметрии, поскольку позволяет осуществлять математические расчеты с качественными признаками.

На практике показателем квалификации эксперта часто служит отклонение его оценок от средних оценок группы экспертов.

Анкетированием называется метод сбора мнений посредством заполнения анкет. Анкетирование наряду с интервью и беседой относится к методам опроса. В отличие от интервью и беседы анкетирование предполагает письменные ответы лица, заполняющего анкету – респондента, - на систему стандартизированных вопросов. Оно позволяет изучать мотивы поведения, намерения, мнения и т.п.

С помощью анкетирования можно решать многие практические задачи в спорте: оценка психологического статуса спортсмена; его отношение к характеру и направленности тренировочных занятий; межличностные отношения в команде; собственная оценка технико-тактической подготовленности; оценка рациона питания и многие другие.