Тестирование как метод исследования, Тест

метки: Ответ, Задание, Тестирование, Валидность, Надежность, Испытуемый, Личность, Развитие

Материалы

По курсу

«Конструирование психологических тестов»

Вопросы к зачету

Понятие теста. Достоинства и недостатки теста как инструмента исследования.
История происхождения тестов и тестирования как метода исследования.
Виды тестов, их общая классификация.
Основные психометрические характеристики и структура теста.
Факторная структура теста: понятие, способы выделения факторов.
Психологические и образовательные тесты и их специфика.
Достоинства, недостатки и ограничения различных видов тестов.
Требования к тестам.
Валидность: понятие и виды.
Надежность: понятие, виды и показатели надежности..
Соотношение надежности и валидности теста.
Тестовые нормы и стандартизация тестов.
Принципы построения теста.
Инструкция к тесту.
Спецификация теста.
Тестовые методики психологического и психофизиологического обследования.
Тест-опросник и алгоритм его составления.
Профессионально-этические принципы использования тестов.
Этические нормы работы психолога с психодиагностическими методами.
Достоверность результатов тестирования.
Способы контроля за достоверностью.
Личностные опросники Айзенка.
Тесты общих способностей, их недостатки и ограничения.
Интеллектуальные тесты.
ШТУР и методика его использования.
Тесты достижений.
Критериально-ориентированные тесты и их конструирование.
Проективные тестовые методики.
Тестовая батарея и принципы ее построения.
Способы обработки и регистрации данных, полученных в процессе тестирования.
Ошибки тестовых измерений и их предупреждение.
Компьютерные тесты и их особенности.

Литература

Аванесов B.C. Композиция тестовых заданий. Книга для преподавателей ВУЗов, техникумов, училищ, учителей школ, гимназий, лицеев, для студентов и аспирантов педагогических ВУЗов. М.: АДЕПТ, 1998.
Аванесов В.С. Современная технология разработки педагогических тестов. – М.: Учебный центр, 2005.
Анастази А. Урбина С. Психологическое тестирование. – СПб.: – Питер, 2007. – 688 с.
Бодалев А. А., Столин А. В. Общая психодиагностика. – СПб.: Речь, 2000. – 440 с.
Бурлачук Л. Ф. Психодиагностика. СПб.: Питер, 2006.
Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. 2-е изд., перераб. и доп. СПб.: Питер, 2005.
Джерелиевская М. А., Яшина Л. Л. Этические принципы обратной связи при глубинном психодиагностическом обследовании. // Современная психодиагностика в изменяющейся России: сборник тезисов Всероссийской научной конференции. Челябинск: Издательство ЮурГу, 2008. – С. 43 – 45.
Корниенко А.Ф. Методология и методы психологического исследования: Учебное пособие / Казанский пед. ун-т, Казань. – Гл. 1, 1.6.
Корнилова Т.В., Смирнов С.Д. Методологические основы психологии. – СПб.: Питер, 2006.
Маклаков А.Г. Общая психология. – СПб.: Питер, 2000. – Гл. 1, 1.4.
Мещеряков Б.Г. Психология. Тематический словарь. СПб.: прайм- ЕВРОЗНАК, 2007.
Наследов А. Д. SPSS: компьютерный анализ данных в психологии и социальных науках. СПб.: Питер, 2005.
Науменко А. С. Организационная и психологическая эффективность различных способов предоставления психодиагностической информации. Автореферат дисс. канд. психол. наук, М.: МГУ, 2008.
Науменко А. С., Орел Е. А. Использование Интернет-технологий для проведения психологических исследований. // Отечественная психология в контексте мировой науки и практики. Сборник статей по результатам работы международной конференции «Ломоносов» — 2004. М.: МГУ, 2004. – С. 147 – 154.
Психолого-педагогическая диагностика: Учеб. пособие для студ. высш. пед. учеб. заведений / И.Ю. Левченко, С.Д. Забрамная, Т.А. Добровольская и др. – 2-е изд. – М.: Изд. центр «Академия», 2005. – 320 с.
Райгородский Д.Я. (редактор-составитель) Практическая психодиагностика. Методика и тесты. Уч. пособие. – Самара: Изд. Дом «БАХРАХ», 2005. – 672 с.
Ромек В. Г., Сатин Д. К. Сохранение надёжности многофакторных тестов при их использовании в сети Интернет. // Психологический журнал. 2000. 21 (2).

5 стр., 2333 слов

Психодиагностика как психологическая дисциплина и ее связь с ...

... надежности. 38 31. Достоверность теста. Способы достижения ... История развития психодиагностики за рубежом. 32 28. История развития отечественной психодиагностики. 34 29. Психометрика. Основные понятия психометрики. 36 30. Надежность теста. Способы достижения ...

– С. 70-75
Сидоренко Е. В. Методы математической обработки в психологии. СПб.: Речь, 2002.
Собчик Л. Психология индивидуальности. Теория и практика психодиагностики. СПб.: – Речь, 2003
Шмелев А. Г. Песнь о Вещем Олеге и профессиональные предпочтения в области психодиагностики. // Вестник московского университета. Серия 14. Психология. 2004. – С. 13 – 23.
Шмелев А. Г. Психодиагностика личностных черт. СПб.: Речь, 2002.
Шмелев А. Г. Основы психодиагностики. – М.; Ростов-на-Дону, 1996. – 544 с.
Aron, A., & Aron, E. N. Statistics for psychology (2nd ed.).

6 стр., 2938 слов

Педагогическое тестирование преимущества и недостатки

... в развитии тестологии связан с деятельностью видного французского психолога А. Бине, который может считаться родончальником современных тестов, предназначенных для определения уровня развития интеллекта. Массовый характер тестирования вызвал ...

Upper Saddle River, NJ: Prentice Hall, 1999.
Furr M. R., Bacharach V. R. Psychometrics. An introduction. SAGE Publications Inc., 2008.
VanVoorhis C. W., Morgan B. L. Statistical Rules of Thumb: What We Don’t Want to Forget About Sample Sizes. – University of Wisconsin-La Crosse
(http://www.psichi.org/pubs/articles/article_182.asp).

Краткий курс лекций

Тема 1. Тестология и психометрика

1.Тестология – наука и практика составления тестов.

2. Психологическое тестирование и тестирование образовательное. Их специфика

Тестология – наука и практика составления тестов. Существует психологическое тестирование и тестирование образовательное. Их специфика различается. В Центре тестирования «Гуманитарные технологии» больше занимаются психодиагностикой и психометрикой, а не разработкой тестов общеобразовательных знаний, не педагогическими измерениями. Но у истоков современной тестологии стояли именно психологи. Их имена для образованного человека на Западе так же известны и значимы, как имя, к примеру, Зигмунда Фрейда. Это представители американских и европейских школ психологии, которые работали на рубеже девятнадцатого и двадцатого веков: Бине, Векслер, Гилфорд.

Само же слово «тест» существовало в языке еще задолго до появления науки психологии, и тем более тестологии. В переводе с английского «тест» значит «испытание», То, что сейчас превратилось в образовательное тестирование, начиналось с так называемых «тестов достижений» – измерений некоторых интеллектуальных и физиологических показателей. Тогда тестология была похожа на науку об экспериментах и испытаниях. Первые тесты были психофизические, они измеряли, например, скорость реакции в определенных условиях. Испытуемому давалось задание: услышите сигнал – нажмите на кнопку. Сколько секунд уходит на это у определенного человека? Все записывалось и сравнивалось.

Позднее тесты приобрели более привычный для нас вид: на бланках напечатаны несколько задач и несколько вариантов ответов на задачи, испытуемому надо выбрать один ответ. В XX веке одной из важных областей применения тестирования на Западе стала диагностика уровня развития и интеллектуального потенциала человека» Результаты подобных тестов (конечно, их данные использовались вместе с другими, дополнительными методами) в Европе и США служили и служат основанием для поступления в учебные заведения или приема на работу.

Известно, что в СССР строжайше запрещалось проводить тестирование интеллектуального уровня. Постановление сталинских времен запрещало тестологические методы: они бросали вызов коммунистической парадигме. В советском обществе все должны быть равны. В конце концов тестология в СССР была реабилитирована. Но ее специфика, по сравнению с западной, претерпела изменения. В педагогике стало лидировать предметное тестирование.

В России цель образовательного тестирования несколько иная, чем в других странах. У нас в образовательной сфере измеряется главным образом уровень знания того или иного предмета. В чем-то это уникальное явление для мира тестирования. Мы и здесь оказались самобытны. На Западе тоже разрабатывается немало тестов на проверку знаний. Но там чаще всего проверяется не знание фактов и имен, как это делается в России. Тестологов интересует проверка обобщенных умений – компетенций. Компетенция – целый комплекс умений, навыков решения задач и понимания проблем.

13 стр., 6341 слов

Рисуночный тест-как метод психоанализа

... данные, полученные при помощи рисуночных тестов, обязательно должны сопоставляться с результатами, полученными при обычном тестировании. В целом толкование результатов рисуночных тестов должно быть сделано с ... Естественно - и нет никаких оснований для беспокойства. Глава 1. Рисуночный тест – как метод психоанализа 1.1. Выделенная деталь рисунка Термины, в которых проводится интерпретация рисунков, ...

Для поступления в высшие учебные заведения на Западе и в США используются универсальные тестовые материалы. Там тестируют по общеинтеллектуальным модулям (вербальным, техническим и т.д.).

Так, например, в США в образовательной сфере широко применяется «Джмат» – тест на общие математические и естественно-научные способности. В него входят задания на абстрактную и наглядно-образную логику, на понимание технических особенностей, на умение решать различные задачи, считать и так далее. Наверняка в колледжах и институтах существуют специальные тесты на знания по конкретным дисциплинам. Но при поступлении в вузы и колледжи там применяют диагностику более общих факторов, чем просто знание предмета. Абитуриент должен продемонстрировать с помощью тестов и собеседований свои интеллектуальные достижения и потенциал. А предмету – той же ядерной физике и высшей математике – его учат потом, когда он станет студентом.

В чем-то британский опыт ближе к российскому: наши тестологи ездили в Англию знакомиться с ним. Там есть общие интеллектуальные тесты, но есть тесты и по предметам. В заданиях по предметам дается более широкий спектр заданий: ставка делается не на знания фактов и умения решать стандартные задачи, а на более развернутые умения и проверку компетенций в решении сложных задач. В России ситуация в образовательном тестировании уникальная – мы тестируем практически только по предметам.

Инновационное предприятие «Агентство «Гуманитарные технологии» создано на базе психологического факультета МГУ. Является одним из лидеров в области производства компьютерных психологических тестов в России. В качестве самостоятельной организации входит в структуру Научного парка МГУ. С 1996 года по решению Ученого совета МГУ выполняет функции Центра психологического и профориентационного тестирования старшеклассников и абитуриентов.

С 1997 по 2001 год агентство «Гуманитарные технологии» участвовало в экспериментальном проекте «Олимпиада «Телетестинг»», созданным Издательским домом «Первое сентября», который включал компьютерное тестирование абитуриентов по 9 предметам школьной программы. В 2003 году, в связи с реализацией реформы образования в России, олимпиада «Телетестинг» проводится в частном порядке, без выдачи сертификата. Сегодня «Гуманитарные технологии» работают над проектами дистанционного профориентационного тестирования и дистанционного образовательного тестирования «Телетестинг», участвуют в развитии сервера, посвященного поддержке Единого государственного экзамена.

В диагностика личности используется тестирование как совокупность методов, позволяющих распознать ее внеинтеллектуальные свойства, носящие характер относительно устойчивых диспозиций. Для таких свойств личности, как экстраверсия – интроверсия, доминирующий мотив, заторможенность, возбудимость, ригидность, разработан ряд диагностических методов (опросники и проективные тесты), с помощью которых можно определить выраженность этих свойств. При конструировании таких методов, как правило, пользуются факторным анализом (Г. Айзенк, Дж.Каттел, Дж. Гилфорд) и конструктивной валидизацией.

11 стр., 5318 слов

Педагогические тесты. Термины и определения

... от так называемых, когнитивных факторов, т. е. от относительно устойчивых индивидуальных особенностей личности, определяющих успех в познавательной деятельности (интеллект, память, внимание и др.), на 25 ...

Тема 2. Тестирование как метод психологического исследования

1.Метод тестов: общая характеристика

2. Достоинства метода тестов

3. Недостатки метода тестов

Тестирование (англ. test – испытание, проверка) – метод, применяемый в эмпирических исследованиях, а также как метод измерения и оценки различных психологических качеств и состояний индивида.

Возникновение тестологических процедур было обусловлено потребностью сопоставления ( сравнения, дифференциации и ранжиования) индивидов по уровню развития или степени выраженности различных психологических качеств.

Основоположники тестирования – Ф.Гальтон, Ч.Спирман, Дж.Кэттел, А.Бине, Т.Симон. Сам термин «умственный тест» придумал Кэттел в 1890 г. Начало развития современной тестологии массового применения тестов на практике связано с именем французского врача Бине, разработавшего в соавторстве с Симоном метрическую шкалу умственного развития, известную под названием «тест Бине-Симона».

Широкому распространению, развитию и совершенствованию тестов способствовал целый ряд преимуществ, которые дает этот метод. Тесты позволяют дать оценку индивида в соответствии с поставленной целью исследования; обеспечивают возможность получения количественной оценки на основе квантификации качественных параметров личности и удобство математической обработки; являются относительно оперативным способом оценки большого числа неизвестных лиц; способствуют обёективности оценок, не зависящих от субёективных установок лица, проводящего исследование; обеспечивают сопоставимость информации, полученной разными исследователями на разных испытуемых.

Метод тестов является одним из основных в современной психодиагностике. По уровню популярности в образовательной и профессиональной психологической практике он прочно удерживает первое место в мировой психодиагностической практике уже фактически в течение столетия.

На современном этапе в прикладной социологии чаще всего используются тестовые методики, заимствованные из социальной психологии, касающиеся изучения качеств личности. Появляются тесты, специально разработанные социологами. Эти тесты часто используются в социологических анкетах.

Под тестами следует понимать методики, которые состоят из серии заданий с выбором из готовых вариантов ответа. При подсчете баллов по тесту выбранные ответы получают однозначную количественную интерпретацию и суммируются. Суммарный балл сравнивается с количественными тестовыми нормами, и после этого сравнения формулируются стандартные диагностические заключения.

Достоинства метода тестов:

— Стандартизация условий и результатов. Тестовые методики относительно независимы от квалификации пользователя (исполнителя), на роль которого можно подготовить даже лаборанта со средним образованием. Это, однако, не означает, что для подготовки комплексного заключения по батарее тестов не надо привлекать квалифицированного специалиста с полноценным высшим психологическим образованием.

5 стр., 2017 слов

Достоинства и недостатки тестирования

... валидности вопросов, по ответам на которые можно судить о психологических качествах испытуемых. Тест-задание предполагает оценку психологии и поведения человека на базе его действий. В ... которых дополняет другие, раскрывая новые стороны психической деятельности. История возникновения тестирования Еще в глубокой древности существовали более или менее типовые процедуры выявления ...

— Оперативность и экономичность. Типичный тест состоит из серии кратких заданий, на выполнение каждого из которых требуется, как правило, не более полминуты, а весь тест занимает, как правило, не более часа. Тестированию одновременно подвергается сразу группа испытуемых, таким образом, происходит значительная экономия времени на сбор данных.

— Количественный дифференцированный характер оценки. Дробность шкалы и стандартизованность теста позволяют рассматривать его как «измерительный инструмент», дающий количественную оценку измеряемым свойствам. Количественный характер тестовых результатов дает возможность применить хорошо разработанный аппарат психометрики, позволяющий оценить, насколько хорошо работает данный тест на данной выборке испытуемых в данных условиях.

— Оптимальная трудность. Профессионально сделанный тест состоит из заданий оптимальной трудности. При этом средний испытуемый набирает примерно 50 % из максимально возможного количества баллов. Это достигается за счет предварительных испытаний — психометрического эксперимента, или пилотажа. Если в ходе пилотажа становится известным, что с заданием справляется примерно

— Надежность. Это, наверное, самое главное достоинство тестов в образовательной психодиагностике. «Лотерейный» характер современных экзаменов с вытягиванием «счастливых» или «несчастливых» билетов давно уже стал притчей во языцех. Лотерейность для экзаменующегося здесь оборачивается низкой надежностью для экзаменатора – ответ на один фрагмент учебной программы, как правило, не показателен для уровня усвоения всего материала. В отличие от этого любой грамотно построенный тест охватывает основные разделы учебной программы (тестируемой области знаний или проявления какого-то умения или способности).

В результате возможность для «хвостистов» выбиться в отличники, а для отличника вдруг «провалиться» резко сокращается.

— Справедливость. Является важнейшим социальным следствием перечисленных выше достоинств. Ее следует понимать как защищенность от предвзятости экзаменатора. Хороший тест ставит всех в равные условия. Поэтому так важно всем, кто имеет доступ к тестам и их результатам, учиться культуре грамотного и гуманного применения тестов, ибо только добросовестное и квалифицированное отношение пользователей к тестам превращает их в инструмент, повышающий, а не понижающий уровень справедливости в обществе.

— Возможность компьютеризации. В данном случае это не просто дополнительное удобство, сокращающее живой труд квалифицированных исполнителей при массовом обследовании. В результате компьютеризации повышаются все параметры тестирования (например, при адаптированном компьютерном тестировании резко сокращается время тестирования).

Компьютеризация – это мощный инструмент обеспечения информационной безопасности (достоверности диагностики).

Компьютерная организация тестирования, предполагающая создание мощных информационных «банков тестовых заданий», позволяет технически предотвратить злоупотребления со стороны недобросовестных экзаменаторов. Выбор заданий, предлагаемых конкретному испытуемому, может производить из такого банка сама компьютерная программа прямо в ходе тестирования, и предъявление данному испытуемому определенного задания в этом случае является таким же сюрпризом для экзаменатора, как и для испытуемого.

17 стр., 8324 слов

Метод тестирования как средство педагогического контроля обученности ...

... современном этапе педагогический контроль обученности старшеклассников проводится в виде тестирования. Тест - в общенаучном смысле это краткое стандартизованное испытание, направленное ... обученности старшеклассников. Данная проблема позволила сформулировать тему исследования: «Метод тестирования как средство педагогического контроля обученности старшеклассников». Объект исследования: педагогический ...

Недостатки метода тестов:

— Опасность «слепых» (автоматических) ошибок. Слепая вера низкоквалифицированных исполнителей, что тест должен сработать правильно автоматически, порождает иногда тяжелые ошибки и казусы: испытуемый не понял инструкции и стал отвечать совсем не так, как требует стандартная инструкция, испытуемый по каким-то причинам применил искажающую тактику, возник «сдвиг» в приложении трафарета-ключа к бланку ответов (при ручном, некомпьютерном подсчете баллов) и т. п. Пользователь не должен подходить к тесту с «магической установкой», будто этот волшебный «черный ящик» должен всегда работать исправно без всякого контроля со стороны человека.

— Опасность профанации. Не секрет, что внешняя легкость проведения тестов прельщает людей, не пригодных ни к какому квалифицированному труду. Оснастившись тестами, им самим непонятного качества, но с громкими рекламными названиями, профаны от тестирования агрессивно предлагают свои услуги всем и вся. Все проблемы предполагается решать с помощью 2–3 тестов – «на все случаи жизни». К количественному тестовому баллу приклеивается новый ярлык – заключение, создающее видимость соответствия диагностической задаче. Примером такой профанации может служить повальное использование клинического теста ММР1 для отбора кадров в нашей стране. Недобросовестная профанация и элементарное невежество идут в области тестирования рука об руку.

— Потеря индивидуального подхода, «стрессогенность». Тест – самая общая «гребенка», под которую подгоняют всех людей. Возможность упустить яркую индивидуальность нестандартного человека, к сожалению, довольно вероятна. Это чувствуют сами испытуемые, и это их нервирует — особенно в ситуации аттестационного тестирования. У людей с пониженной стрессоустойчивостью возникает даже определенное нарушение саморегуляции – они начинают волноваться и ошибаться в элементарных для себя вопросах. Вовремя заметить такую реакцию на тест – задача, которая под силу квалифицированному и добросовестному исполнителю.

— Потеря индивидуального подхода, «репродуктивность». Тесты знаний апеллируют прежде всего к стандартному применению готовых знаний. Отсутствие возможности раскрыть свою индивидуальность при наличии стандартных, заданных ответов – ничем не восполнимый недостаток метода тестов. С точки зрения выявления творческого потенциала большинство тестов ограничены именно тем, что они не апеллируют к творческой, конструктивной деятельности. Во всяком случае, отдельные стандартизированные творческие тесты имеют дело с весьма абстрактным материалом, а тесты достижений (знаний), как правило, выполнены в форме стандартного набора заданий с заданным ответом.

Тема 3. Понятие психологического теста. Виды тестов

Понятие психологического теста.
Виды тестов.
Классификация тестов.

Тест (англ. test – испытание, проверка) – инструмент, применяемый в эмпирических исследованиях, а также для измерения и оценки различных психологических качеств и состояний индивида.

5 стр., 2388 слов

12.Понятие валидности, надежности, достоверности в психодиагностике

... получаемой с помощью данной методики. Валидность содержательная (внутренняя, логическая) — комплекс сведений о репрезентативности заданий теста по отношению к измеряемым свойствам ... содержательная В. требует представления в заданиях теста всех важнейших составных элементов исследуемого явления. Дифференциальная В. — валидность, рассматривающая внутренние взаимоотношения между психологическими ...

Одним из вариантов теста может быть опросник, но при условии, что он отвечает требованиям, предъявляемым к тестам. Опросник – это сборник вопросов, которые выбираются и располагаются по отношению друг к другу в соответствии с требуемым содержанием. Опросники используются, например, в целях психодиагностики, когда от испытуемого требуется самооценка его поведения, привычек, мнений и т.д. При этом испытуемый, отвечая на вопросы, выражает свои положительные и отрицательные предпочтения.

С помощью опросников можно измерять у испытуемых и оценки ими других людей. Задание обычно выступает, как прямая реакция на вопросы, на которые надо ответить путем сожаления или опровержения. Возможности для ответа в большинстве случаев заданы и требуют лишь отметки в виде крестика, крижочка и т.п. Недостаток опросника состоит в том, что испытуемый может симулировать или диссимулировать те или иные свойства личности. Преодолеть указанный недостаток (хотя и не полностью) исследователь может посредством контрольных вопросов, контрольных шкал, шкал «лжи». Опросники применяются преимущественно для диагностики характера, диагностики личности (например, экстроверсии – интроверсии, интересов, установок, мотивов).

Тесты классифицируются по разным признакам.

По виду свойств личности они делятся на тесты достижений и личностные. К первым относятся тесты интеллекта, школьной успеваемости, тесты на творчество, тесты на способности, сенсорные и моторные тесты. Ко вторым – тесты на установки, на интересы, на темперамент, характерологические тесты, мотивационные тесты. Однако не все тесты (например, тесты развития, графические тесты) можно упорядочить по данному признаку. По виду инструкции и способу применения различаются индивидуальные и групповые тесты. При групповом тестировании одновременно обследуется группа испытуемых. Если в тестах уровня временных ограничений нет, то в тестах на скорость они обязательны. В зависимости от того, насколько в результате тестирования проявляется субъективность исследователя различают тесты объективные и субъективные.

К объективным относятся большинство тестов достижений и психофизиологические тесты, к субъективным — проективные тесты. Это деление в определенной степени совпадает с делением на прямые и непрямые тесты, которые различаются в зависимости от того, знают или не знают испытуемые значение и цель теста.

Для проективных тестов типична ситуация, когда испытуемый не информирован о действительной цели исследования. При выполнениис заданий проективных тестов не существует «правильных» ответов. В зависимости от представленности в тесте речевого компонента различаются тесты вербальные и невербальные. Вербальным, например, является тест на словарный запас, невербальным – тест, требующий в качестве ответа определенных действий.

11 стр., 5062 слов

Критерии валидности, применяемые к качественным исследованиям.

... то, которое приведено в книге А. Анастази: «Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает». Валидность по своей сути — это комплексная характеристика, ... Поэтому на ранних стадиях развития тестологии, когда концепция валидности только складывалась, бытовало интуитивное представление о том, что тест измеряет: 1) методика называлась валидной, так как то, ...

По формальной структуре различаются тесты простые,т.е. элементарные, результатом которых может быть единственный ответ, и тесты сложные, состоящие из отдельных подтестов, по каждому из которых должна быть дана оценка. При этом могут высчитываться и общие оценки. Комплекс нескольких единичных тестов называют тестовой батареей, графическое изображение результатов по каждому подтесту — тестовым профилем. Нередко к тестам относят опросники, удовлетворяющие ряду требований, предъявляемых обычно к данному методу сбора психологической или социологической информации.

В последнее время все большее распространение получают критериально-ориентированные тесты, позволяющие оценивать испытуемого не в сопоставлении со среднестатичтияескими данными популяции, а по отношению к заранее заданной норме. Критерием оценки в таких тестах является степень приближения результата тестирования индивида к так называемой «идеальной норме».

Тема 4. Требования к психологическому тесту и процедуре тестирования

К тесту предъявляются следующие требования:

— строгая формализация всех этапов тестирования,

— стандартизация заданий и условий их выполнения,

— квантификация полученных результатов и их структурирование по заданной программе,

— интерпретации результатов на основе предварительно полученного распределения по изучаемому признаку.

Каждый тест, соответствующий критериям надежности, кроме набора заданий включает в себя следующие компоненты:

1) стандартная инструкция для испытуемого о цели и правилах выполнения заданий,

2) ключ шкалирования — соотнесение пунктов заданий со шкалами измеряемых качеств, указывающее, какой пункт заданий к какой шкале относится,

3) кодировочный ключ, позволяющий подсчитать, сколько баллов вносит в шкалу тот или иной вариант ответа,

4) ключ интерпретации полученного индекса, представляющий собой данные нормы, с которыми соотносится полученыный результат.

Традиционно нормой в тестологии являлись среднестатистические данные, полученные в результате предварительного тестирования на определенной группе лиц. Здесь неодходимо учитывать, что переносить интерпретацию плученых результатов можно только на те группы испытуемых, которые по своим основным социокультурным и демографическим признакам аналогичны базовой.

Для преодоления основного недостатка большинства тестов применяются различные приемы:

1) увеличение базовой выборки с целью повышения ее репрезентативности по большему числу параметров,

2) введение поправочных коэффициетнов с учетом характеристик выборки,

3) введение в практику тестирования невербального способа предъявления материала.

Тест состоит из двух частей:

а) стимулирующего материала (задача, инструкция или вопрос)

б) указаний относительно регистрации или интнграции полученых ответов.

Типичная для тестов стандартизация ситуации обеспечивает им в отличие от «свободного» наблюдения поведения большуюю объективность результатов.

Общие требования к содержанию тестовых заданий при компоновке теста.

1. По форме построения все тестовые задания:

— должны соблюдать однозначность и правильность решения, достигаемую за счет отсутствия двусмысленных формулировок;

— должны соблюдать одинаковые правила оценки ответов, т.е. все тестируемые поставлены в равные условия для решения теста;

— должны быть функционально валидными, т.е. соответствовать выявляемому уровню;

— должны быть содержательно валидными, т.е. включать только те задания, которые изучались и являются системообразующими;

располагать задания по степени возрастания трудности;

— должны соблюдать логическую форму высказывания, предполагающую отсутствие тяжеловесных конструкций, компактность формулировки тестового утверждения в форме истинного или ложного высказывания;

— должны быть краткими, позволяющими минимумом средств добиться ясности смысла содержания задания; тщательный подбор слов, символов, графиков и т.д.;

— должны иметь четкую, компактную, доступную пониманию инструкцию, которая на протяжении всего времени, отведенного на решение теста, должна быть перед глазами испытуемого;

— должны соблюдать правила построения ответов. Ответы в тесте могут предлагаться в разных вариантах: выборочные, формульные, числовые, текстовые, графические. Они должны следовать принципу «исключенного третьего», когда не допускаются формулировки типа «все ответы правильные», «правильного ответа нет» и т.д., включать правдоподобные ответы при требовании выбрать правильный ответ.

Требуемый ответ из числа предложенных к заданию кодируется в виде цифр или букв.

2. Содержание в тестовом задании должно отвечать следующим условиям:

— репрезентативности, т. е. как можно более полно отражать знание студентами учебной дисциплины;

— научной достоверности, т. е. отражать знание студентами современных концепций, теорий, технологий, взглядов на психолого-педагогические явления;

— соблюдению «предметной чистоты», т.е. чем меньше в тесте

заданий, включающих в себя междисциплинарные элементы, тем чище содержание дисциплины.

Важным требованием является и соблюдение процедуры разработки теста, состоящей из четырех этапов.

— На первом этапе развивается исходная концепция с формулировкой основных пунктов испытания или основных вопросов, носящих предварительный характер;

— на втором этапе производится отбор предварительных пунктов испытания с из последующей селекцией и приведением к окончательному виду, осуществляется одновременно оценка по качественным критериям надежности и валидности;

— на третьем этапе тест проверяется повторно на той же самой популяции;

— на четвертом — калибруется по отношению к возрасту, уровню образования и другим признакам популяции.

На всех этапах разработки теста необходимо учитывать:

а) диагностируемое свойство личности (размер, положение, индикатор) или только наблюдаемые его пpоявления (напpимеp, способности, уpовень знаний, темпеpамент, интеpесы, установки);

б) связанную с этим валидизацию метода , т.е. опpеделение того, насколько он измеpяет тpебуемое свойство;

в) величину выбоpки из популяции, на котоpой должна пpоводиться оценка метода;

г) стимулиpующий матеpиал (таблички, изобpажения, игpушки, фильмы);

д) влияние исследователя в пpоцессе инстpуктиpования, постановки задач, pазъяснений, ответов на вопpосы;

е) условия ситуации;

ж) такие фоpмы поведения испытуеого, котоpые свидетельствуют об измеpяемом свойстве;

з) шкалиpование pелевантных фоpм поведения;

и) сведение pезультатов по отдельным измеpяемым пунктам в общие значения (напpимеp, суммиpование ответов типа «Да»);

к) фоpмулиpовку pезультатов в ноpмиpованной шкале оценок.

Перед тем как приступить к процедуре тестирования следует тщательно выбрать методику исследования ключ к интерпретации ее данных. Содержащаяся в названии теста информация, как правило, недостаточна для суждения о сфере его применения. Это лишь обозначение, «имя» конкретной процедуры исследования. В качестве примера можно привести широко известную корректурную пробу. Область изучаемых свойств личности включает устойчивость и концентрацию внимания, психомоторную подвижность.

Данная методика позволяет получать оценки выраженности этих психологических качеств у испытуемого, хорошо согласуется с показателями, полученными другими методами, и, следовательно, обладает высокой валидностью. Наряду с этим результаты выполнения корректурной пробы подвержены влиянию большого количества других факторов (нейродинамические особенности, характеристики кратковременной и оперативной памяти, индивидуальная переносимость монотонии, развитие навыка чтения, особенности зрения и т. д.), по отношению к которым методика не является специфичной. В случае применения корректурной пробы для их измерения валидность будет невелика или сомнительна.

Тема 5. Валидность теста

1. Определение валидности

Важнейшие составляющие валидности
Основные типы валидности (диагностическая, прогностическая, эмпирическая, критериальная, конструктная, содержательная).

Классификация типов валидности
Относительность деления валидности на типы. Понятие «комплекса валидности». Обоснование необходимости периодической валидизации психодиагностических методик

Валидность (англ. – «действительный, пригодный, имеющий силу») – комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.

В наиболее простой и общей формулировке валидность теста – это «понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» (А. Анастази, 1982).

В стандартных требованиях к психологическим и образовательным тестам валидность определяется как комплекс сведений о том, относительно каких групп психологических свойств личности могут быть сделаны выводы с помощью методики, а также о степени обоснованности выводов при использовании конкретных тестовых оценок или других форм оценивания. В психодиагностике валидность — обязательная и наиболее важная часть сведений о методике, включающая (наряду с указанными выше) данные о степени согласованности результатов теста с другими сведениями об исследуемой личности, полученными из различных источников (теоретические ожидания, наблюдение, экспертные оценки, результаты других методик, достоверность которых установлена и т. д.), суждение об обоснованности прогноза развития исследуемого качества, связь изучаемой области поведения или особенности личности с определенными психологическими конструктами. Валидность описывает также конкретную направленность методики (контингент испытуемых по возрасту, уровню образования, социально-культурной принадлежности и т. д.) и степень обоснованности выводов в конкретных условиях использования теста. В совокупности сведений, характеризующих валидность теста, содержится информация об адекватности применяемой модели деятельности с точки зрения отражения в ней изучаемой психологической особенности, о степени однородности заданий (субтестов), включенных в тест, их сопоставимости при количественной оценке результатов теста в целом.

2. Важнейшие составляющие валидности

Важнейшая составляющая валидности – определение области изучаемых свойств – имеет принципиальное теоретическое и практическое значение при выборе методики исследования и интерпретации ее данных.

Очерчивая сферу применения методики, валидность отражает и уровень обоснованности результатов измерения.

В понятие валидности входит большое количество самой разнообразной информации о тесте. Различные категории этих сведений и способы их получения образуют типы валидности.

Дифференциальная валидность.

Дифференциальная валидность – вид конструктной валидности, рассматривающей внутренние взаимоотношения между психологическими факторами, диагностируемыми с помощью психодиагностической методики.

Содержание дифференциальной валидности может быть проиллюстрировано на примере тестов интересов, которые в своем большинстве обычно умеренно коррелируют с показателями общей академической успеваемости, однако в различной степени связаны с успеваемостью по отдельным дисциплинам. Дифференциальная валидность особенно важна как показатель диагностической ценности методик, используемых в профотборе.

Валидность по возрастной дифференциации.

Валидность по возрастной дифференциации – один из компонентов конструктной валидности, связанный с возрастной динамикой изменений исследуемого качества. Характеристика валидности по конструкту здесь заключается в определении соответствия результатов теста теоретически ожидаемым и практически наблюдаемым возрастным изменениям данного конструкта или свойства.

Наибольшее значение валидность по возрастной дифференциации имеет для характеристики валидности тестов, направленных на измерение психологических свойств, функций, отличающихся относительно быстрым изменением под воздействием индивидуального опыта, выраженной иерархичностью ступеней развития (осведомленность, навыки, интеллектуальные операции и др.).

По этой причине валидность по возрастной дифференциации является главным оценочным критерием при валидизации тестов интеллекта, особенно предназначенных для детей. Здесь закономерное повышение результатов выполнения заданий теста в каждой последующей возрастной группе является основным психометрическим принципом диагностики уровня развития, базой для построения психометрической шкалы.

Одной из конкретных форм выражения показателей валидности по возрастной дифференциации является статистический анализ достоверности различий между результатами теста у испытуемых различного возраста.

Основные типы валидности (диагностическая, прогностическая, эмпирическая, критериальная, конструктная, содержательная).

Диагностическая (конкурентная) валидность отражает способность теста дифференцировать испытуемых по изучаемому признаку. Анализ диагностической валидности имеет отношение к установлению соответствия показателей теста реальному состоянию психологических особенностей испытуемого в момент обследования. Примером определения этого типа валидности может быть исследование по методу контрастных групп.

Большинство методик, особенно тестов способностей и интеллекта, исследуется на предмет диагностической и прогностической валидности. Два этих типа валидности нередко объединяют в понятие эмпирической валидности. Здесь подчеркивается общность подхода к их определению, который осуществляется путем статистического коррелирования баллов (оценок) по тесту и показателей по внешнему параметру, избранному в качестве валидизации критерия (см. Валидность критериальная).

Критерий валидности выступает в качестве меры, показателя иссле дуемых психологических особенностей. Так, тесты специальных способностей проверяются путем сопоставления с результатами обучения по другим предметам, достижениями в музыке, рисовании и т. д. Тесты общих интеллектуальных способностей валидизируются сравнением с еще более широкими характеристиками школьных достижений (общая успеваемость, овладение сложными системами знаний и навыков).

Критерий валидности является независимым от теста показателем, обладающим непосредственной ценностью для определенных областей практической деятельности. Например, в области педагогической психологии это «успеваемость», в психологии труда — «производительность», в медицинской психологии — «состояние здоровья» и т. д. В качестве непосредственных критериев часто используются экспертные оценки и характеристики лиц, обследованных с помощью валидизируемого теста, данные педагогами, сотрудниками, руководителями.

Сведения, характеризующие степени обоснованности и статистической надежности развития исследуемой психологической особенности в будущем, составляют прогностическую валидность методики. Заключение об этом типе валидности может быть получено, например, путем сравнения тестовых оценок в одной и той же группе испытуемых спустя определенное время. Основой прогностической валидности является определение того, насколько важен исследуемый признак с точки зрения деятельности испытуемого в будущем с учетом закономерно изменяющихся обстоятельств, перехода на другой уровень развития.

Во многих случаях бывает сложно или невозможно подобрать адекватный критерий валидизации. При этом особую важность приобретает комплекс характеристик, входящих в тип теоретической валидности. При разработке и использовании теста может быть сформулирован ряд гипотез о том, как будет коррелировать исследуемый тест с другим тестом, измеряющим родственные или противоположные психологические характеристики испытуемых. Эти гипотезы выдвигаются на основании теоретических представлений об измеряемых свойствах как о психологическом конструкте. Подтверждение гипотез свидетельствует о теоретической обоснованности методики, т. е. о степени ее конструктной валидности. Этот тип валидности является наиболее сложным и комплексным.

Для подтверждения соответствия получаемых с помощью теста результатов теоретическим ожиданиям и закономерностям используется самая различная информация, в том числе относящаяся к другим типам валидности.

Валидность содержательная (внутренняя, логическая) – комплекс сведений о репрезентативности заданий теста по отношению к измеряемым свойствам и особенностям. Одним из основных требований при валидизации методики в этом направлении является отражение в содержании теста ключевых сторон изучаемого психологического феномена. Если область поведения или особенность очень сложна, то содержательная валидность требует представления в заданиях теста всех важнейших составных элементов исследуемого явления. Так, при разработке теста «вербального интеллекта» необходимо ввести группы заданий (субтестов) для проверки довольно разнородных по своему операциональному составу навыков письма и чтения.

Наряду с перечисленными основными типами валидности (содержательной, критериальной и конструктной) на практике выделяют факторную, перекрестную (конвергентную) и дискриминантную валидности .

Следует напомнить, что деление валидности на типы весьма относительно. Классификация типов валидности также достаточно условна, так как нередко для различных критериев валидности применяются общие методы определения, а с другой стороны, одни и те же исходные данные могут интерпретироваться с точки зрения различных типов валидности.

Классификация типов валидности:

конструктная;
дифференциальная;
конвергентная;

дискриминативная (дискриминантная);
факторная;
валидность по возрастной дифференциации;
критериальная;
диагностическая (конкурентная);
текущая;

прогностическая;
инкрементная;
синтетическая;
ретроспективная;
эмпирическая;
содержательная;
лицевая (очевидная).

Другие виды валидности:

иллюзорная;
экологическая.

В психологической диагностике не существует универсального подхода к характеристике валидности.

Но известно, что можно статистически проанализировать структуру связей показателей исследуемого теста с другими известными и латентными факторами, выявить общие и специфические для группы сопоставляемых тестов факторы, степень их представленности в результатах, т. е. определить факторный состав и факторные нагрузки результата теста. Исключительная важность такой процедуры является основанием для выделения ее в особый вид конструктной валидности — факторную валидность.

Важным аспектом конструктной валидности является внутренняя согласованность, отражающая то, насколько определенные пункты (задания, вопросы), составляющие материал теста, подчинены основному направлению теста как целого, ориентированы на изучение одних и тех же конструктов. Анализ внутренней согласованности осуществляется путем коррелирования ответов на каждое задание с общим результатом теста. Следует отметить, что критерий внутренней согласованности указывает лишь на меру связи всего содержания теста с измеряемым конструктом, давая лишь косвенную информацию о природе измеряемого свойства.

При определении конструктной валидности важное место принадлежит изучению динамики измеряемого конструкта. При этом мы можем опираться на гипотезы о его возрастном развитии, влиянии тренировок, обучения, освоения профессии и т. д. Одним из таких подходов является применение критерия возрастной дифференциации, что предусматривает согласование результатов теста с ожидаемыми изменениями, которые претерпевает изучаемое психическое свойство в возрастной динамике при переходе на новый этап развития. Этот метод конструктной валидности особенно важен для валидизации тестов интеллекта, достижений в обучении.

В комплекс сведений о конструктной валидности методики входят также данные, относящиеся к сфере критериальной и содержательной валидности. Так, критерии, используемые при валидизации, несут информацию, позволяющую раскрыть область поведения, качества, представленные в тесте в виде конструкта. Для характеристики конструктной валидности необходимы связь с практическими формами деятельности, достоверность прогноза реального поведения. Однако конструктная валидность является качественно более высоким и комплексным уровнем описания теста, характеризуя область измеряемого поведения в широких психологических понятиях. Благодаря данным конструктной валидности мы можем с психологических позиций закономерно объяснить результаты теста и их дисперсию, обосновать диагноз, введя измеряемое свойство в систему психологических категорий, прогнозировать поведение в более широких пределах, чем это задается областью деятельности, для которой определялась содержательная валидность.

В качестве примера, иллюстрирующего необходимость глубокого анализа теоретического конструкта, лежащего в основе конкретной методики, для правильного применения теста и интерпретации его результатов, можно привести сопоставление двух популярных личностных опросников — «шкалы проявления тревожности» (МАЗ) и варианта личностных опросников Айзенка (ЕР1).

Корреляционные исследования показывают, что шкала «тревожности» МА5 положительно коррелирует со шкалой «нейротизма» и отрицательно — со шкалой «экстраверсии» ЕР1.

Тема 6. Надежность тестовых методик

1. Определение. Факторы, влияющие на надежность методики. Стандартная ошибка измерения. Надежность измерения.

2. Понятие о методе измерения ретестовой надежности. Стандартизация процедуры обследования. Взаимосвязь надежности и валидности Надежность параллельных форм. Сущность, достоинства и недостатки.

3. Надежность частей теста, ее определение методом расщепления. Уравнение Спирмена-Брауна.

Надежность – одно из трех главных психометрических свойств любой измерительной психодиагностической методики (теста).

Надежность – это устойчивость процедуры тестирования относительно объектов исследования. Надежность – это помехоустойчивость теста, независимость его результата от действия всевозможных случайных факторов. К числу таких факторов относятся:

разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому (время суток, освещенность, температура б помещении, наличие посторонних звуков, отвлекающих внимание, и т. п.);
динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования (время так называемой «врабатываемости» – выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость наступления утомления и т. п.);
информационно-социальные обстоятельства (различная динамика в установлении контакта с психологом или лаборантом, проводящим тестирование; возможное наличие других людей в помещении; наличие предыдущего опыта знакомства с данным тестом; наличие какого-то знания и отношения к тестам вообще и т. п.).

Разнообразие и изменчивость этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размерам и направлению отклонения измеренного тестового балла от истинного тестового балла. Средняя относительная величина этого отклонения определяется как «стандартная ошибка измерения» (Sе).

Величина ошибки измерения указывает на уровень неточности или ненадежности тестовой шкалы.

Низкая корреляция результатов теста между первым и повторным тестированием говорит о том, что случайные факторы существенно искажают результаты теста. Это значит, что тест не обладает необходимой помехоустойчивостью и его нельзя использовать как измерительный инструмент.

Показатель надежности R, который принято считать достаточно высоким, равен или превышает 0,95. Однако в личностных тестах часто пользуются значительно менее надежными тестами с показателями 0,8 – 0,9.

Важнейшим средством повышения надежности теста является стандартизация процедуры обследования. При строгой регламентации процедуры обследования (обстановка и условия работы/учебы испытуемого, характер инструкции, временные ограничения, способы и особенности контакта с испытуемым, порядок предъявления элементов методики, получения первичных оценок и т.д.) существенно уменьшается дисперсия ошибки и повышается надежность теста.

Очевидно, что при небольшом количестве сопутствующих факторов, влияющих на результат исследования, а значит, при их незначительном воздействии на результат теста достоверность тестовых оценок будет выше. Еще в большей степени достоверность данных теста определяется набором измеряемых свойств, их значимостью для осуществления диагностируемой сложной деятельности, полнотой и существенностью отражения в материале теста предмета измерения. Так, чтобы удовлетворить требованиям надежности и валидности, диагностическая методика, предназначенная для профотбора, должна включать анализ широкого круга нередко различных по своей природе показателей, наиболее важных для достижения успеха в данной профессии (уровень внимания, особенности памяти, психомоторика, эмоциональная устойчивость, интересы, склонности и т. д.).

Проведение теста интеллекта у нормально развивающихся детей и их сверстников с нарушениями в интеллектуальном развитии может выявить глубокие количественные и качественные различия в выполнении заданий сравниваемыми группами. Степень надежности дифференциации детей первой и второй групп по данным теста будет характеристикой диагностической валидности оценки умственного развития, получаемой с помощью данной методики.

Критерий валидности выступает в качестве меры, показателя исследуемых психологических особенностей. Так, тесты специальных способностей проверяются путем сопоставления с результатами обучения по другим предметам, достижениями в музыке, рисовании и т. д. Тесты общих интеллектуальных способностей валидизируются сравнением с еще более широкими характеристиками школьных достижений (общая успеваемость, овладение сложными системами знаний и навыков).

Тема 7. Конструирование теста

Конструирование теста начинается с составления или подбора тестовых заданий. В зависимости от оформления поля ответов тестовые задания бывают следующие.

Открытые, где ответ не задан ни тестируемому, ни обработчику теста. Пример данного теста — составление рисунков, схем.

Такие задания разделяются на следующие виды:

-открытые задания по формообразованию;

— открытые задания на интерпретацию;

— открытые задания на ассоциацию. Полузакрытые, где ответ известен только обработчику. Они разделяются на следующие виды:

— со свободным ответом;

-ассоциативные задания;

— задания на дополнение;

— задания на подстановку;

-задания на построение;

-задания на изменение структуры.

Закрытые, где ответ задан как тестируемому, так и обработчику. Эти гесты имеют такие задания, как;

-задания на интерпретацию;

— альтернативные задания, задания с выбором ответа;

— выбор на основе ассоциаций;

— выбор на основе дополнения, на основе подстановки, на основе расширения;

— задания на установление связи, на перестановку, на репрезентацию.

Для практических целей достаточно разграничить свободную форму, предполагающую выбор ответа из нескольких предложенных.

Следует отметить, что тестирование осуществляется не только с помощью стандартизированных тестов, разработанных специалистами-тестологами. В учебной практике каждому педагогу приходится обращаться к тестам как методу педагогического контроля и разрабатывать их самостоятельно. Поэтому следует выделить основные подходы в технологии разработки тестов.

Проектирование дидактических тестов включает три стадии.

Стадия 1. Подготовительное планирование фиксирует внимание разработчика на трех последовательных моментах.

Во-первых, нужно определить цели исследования. Они могут быть направлены на объективную оценку объема знаний студентов, выявление структуры усвоения знаний у студентов или системы полного усвоения знаний, адекватность выбора профессии (например, абитуриентами педагогических колледжей и вузов), а могут быть более локальными. Например, необходимо провести отбор студентов с низкой успеваемостью для дополнительных занятий или предварительно установить уровень успеваемости разных учебных курсов. При разработке теста принимаются во внимание определенные критерии в зависимости от общепринятой таксико-мании целей:

1) знание фактов и взаимозависимости между ними;

2) решение теоретических и практических проблем;

3) самостоятельная оценка;

4) самостоятельное применение знаний в новой ситуации.

Цели позволяют преподавателю ответить на вопрос, что является главным при ответе испытуемого — умение мыслить или запоминать, и показывают, каковы значение теста и его дидактическая корректность.

Во-вторых, продумывается механизм проведения тестирования, как оно будет организовано ~ индивидуально, по подгруппам или со всеми студентам одновременно. Обычно тестирование проводится групповым методом, индивидуальные тесты даются только в тех случаях, когда нет возможности измерить уровень качества усвоения материала в условиях групповой проверки.

Также устанавливается, каким способом будет осуществляться тестирование — в виде компьютерной программы, методом безмашинного программирования, непосредственной записью ответов на вопрос разработчика.

Если тест дается в устной форме, то важно соблюдать следующую методику; текст заданий читается преподавателем внятно, четко, дважды повторяется каждый вопрос, указывается, какой вариант читает и из каких ответов надо выбрать правильный. После первого прочтения тест читается еще раз, но в более быстром темпе, затем дается время на размышление, определение правильных ответов, и готовые работы сдаются на проверку. После этого преподаватель снова зачитывает весь тест, но с указанием правильных ответов. Обычно такая методика используется при текущем контроле, так как данная процедура занимает довольно много учебного времени (до 20 минут).

Определяется, как будет проходить обработка теста — собственными силами разработчика или другим лицом, и на что следует опираться при обработке результатов теста — на правильные решения, на допущенные ошибки или на то и другое сразу.

Выписывается инструкция для пользователей, которая может быть дана отдельно преподавателям, проводящим тестирование, и отдельно студентам, в ней участвующим.

В-третьих, составляется спецификация теста.

Спецификация (от лат. sрес1еs — вид, разновидность, /асеге — делать) — перечисление подробностей, на которые надо обратить внимание.

В спецификации указывается название, для какого вида контроля используется тест. Прописываются общая цель и задачи, решаемые при применении теста. Определяется перечень разделов или тем учебной дисциплины, на основе которых даются задания, общее количество заданий, их виды и количественное соотношение внутри теста, указывается число заданий по конкретной задаче обучения. Предоставляется ключ к тесту, т.е. эталоны правильных ответов. Фиксируются критерии оценки знаний студентов, даются методы статистической обработки полученных результатов, примеры инструкций к заданиям. В спецификации теста могут быть указаны возможные ошибки, которые возникают у тестируемых в процессе решения тестовых заданий. Фактически в спецификации отражаются основные характеристики теста: содержание, форма, язык, трудность, валидность, надежность.

Стадия 2. Содержательный (куррикулярный) анализ. Анализу подвергаются учебные планы и учебники. Поскольку тесты «школьной успеваемости» направлены на соотносительную группу, то ориентация делается на наиболее значимые и глобальные цели, например, не столько на выявление знаний, сколько прежде всего на умение учащихся понимать, обдумывать, восстанавливать в памяти, т.е. применять полученные знания на практике. В этом виде анализа педагог ориентируется только на те цели, которые он выбрал для своего предмета.

Стадия 3. Конструирование заданий. При переходе к рассмотрению этой стадии работы в процедуре составления теста, следует уточнить, что педагогический (дидактический) тест представляет собой систему заданий возрастающей трудности и специфической формы, позволяющих объективно оценивать уровень и структуру знаний студентов. В связи с этим рассмотрим сначала особенности наиболее часто встречающихся видов тестовых заданий, затем остановимся на общих требованиях к содержанию при построении теста, а потом определим ряд организационных моментов, которые должен учесть преподаватель при компоновке теста.

II. Общие требования к содержанию тестовых заданий при компоновке теста.

1. По форме построения все тестовые задания:

— должны быть функционально валидными, т.е. соответствовать выявляемому уровню;

располагать задания по степени возрастания трудности;

Требуемый ответ из числа предложенных к заданию кодируется в виде цифр или букв.

2. Содержание в тестовом задании должно отвечать следующим условиям:

— репрезентативности, т. е. как можно более полно отражать знание студентами учебной дисциплины;

— соблюдению «предметной чистоты», т.е. чем меньше в тесте

заданий, включающих в себя междисциплинарные элементы, тем чище содержание дисциплины.

3. При конструировании теста учитывается степень трудности задания:

— задания должны быть разной трудности. В тесте есть одно-два задания, которые не может сделать никто, одно-два задания, которые должны выполнить все, 60—70 % составляют задания средней трудности;

— учитывается дифференцирующая способность задания, когда знающие студенты должны выполнить задание, не знающие — не в состоянии его выполнить;

— соблюдается локальная независимость заданий, т. е. выполнение заданий не зависит от результатов выполнения других форм работы;

— реализуется принцип информативности заданий, который предполагает, что каждое задание выполняет информационную функцию;

— должна быть коррелируемость задания с критерием. Во время компоновки тестовых заданий в единое целое их можно расположить: по степени возрастания трудности; по спирали — от самых легких по всем темам до самых трудных по всем темам; в специальном порядке в соответствии с теорией.

Степень сложности задания выводится по следующей формуле:

Количество тестируемых, правильно решивших задание

Количество тестируемых, выполняющих задание

При составлении теста должны соблюдаться следующие организационные требования.

1. Разработчик определяет, какой тип заданий лучше всего соответствует цели, содержанию и условиям тестирования. Разработчик решает также, можно ли ограничиться одним видом задания или следует представить несколько.

2. Разработчик осуществляет конструирование заданий в соответствии с определенным уровнем. Тесты первого уровня — тесты на опознание, классификацию, соответствие. Тестируемые выполняют действия при помощи состава компонентов теста, в которых, по сути, заложена некоторая подсказка. Тесты второго уровня направлены на выявление умения воспроизводить информацию по памяти для решения типовых задач. К этому уровню можно отнести задания на подстановку, конструктивные задания. Тесты третьего уровня имеют целью выявление сформированного умения преобразовывать действия в соответствии с ситуацией задачи, при этом задача является нетиповой, т.е. такой, в которой отсутствует буквальный, усвоенный алгоритм действия. Тесты третьего уровня носят эвристический характер. Четвертый уровень тестов направлен на определение исследовательских возможностей учащегося. Основу таких тестов составляют задания-проблемы, в которых алгоритм решения неизвестен и не может быть получен только с помощью преобразования известных методик, как это можно сделать в тестах третьего уровня. В этих тестах отсутствуют готовые эталоны ответов, о качестве их выполнения судит группа независимых и компетентных экспертов.

3. Разработчик определяет, какие дополнительные средства может использовать учащийся при ответе. Например, карты, словари, таблицы.

4. Разработчик фиксирует свое внимание на средствах обработки полученных данных-

5. Автор теста составляет на 50, а иногда и на 100 % заданий больше, чем того требует окончательная форма теста, так как только часть из разработанных заданий пройдет выборку.

6. Автор устанавливает фактическое время выполнения теста. При этом внимание обращается на то, что решение тестовых заданий (364с) требует определенного напряжения, а заниженный темп работы приводит к списыванию, подсказкам, «коллегиальному решению». Обычно время устанавливается от 15 до 30 минут, все зависит от объема материала.

7. Выбор формы задания зависит от цели создания теста; содержания учебной дисциплины в целом и конкретно отдельного раздела, темы; технологических умений разработчика теста.

8. Согласно классической теории тестов, основу которой составляют законы корреляции, главными критериями качества тестов считают надежность и валидность.

Валидность (от англ. — веский, обоснованный) указывает, что измеряет тест и насколько хорошо он это делает. Различают три вида валидности:

-по содержанию. Здесь тест направлен на выявление того, насколько тестируемый овладел конкретными знаниями, учебными умениями и навыками. Данный вид валидности закладывается уже при разработке заданий и фиксируется в спецификации теста. Чтобы обеспечить охват тестовыми заданиями всех необходимых областей учебного предмета, содержание фисиксируется заранее, а не после того, как составлен тест; (265) -по критерию. Этот вид отражает то, насколько по результатам теста можно судить о каком-либо аспекте в настоящем и будущем;

— конструктивная валидность, оценивающая пригодность теста для конкретных целей пользователя. Он получает конкретную информацию о функциях теста и соотносит их с целями использования теста.

9. Композиция тестовых заданий должна удовлетворять принципу соответствия формы содержанию и содержания форме. Важно помнить, что форма изначально задает правила, выдвигает ограничения при разработке тестовых заданий, заставляет разработчика формулировать задания так, чтобы они были поняты и у тестируемых не возникло ошибок при восприятии.

10. Количество заданий в тесте зависит от объема материала, детализированное™ предлагаемой проверки, а также от времени, предназначенного для проверки результатов.

11. Для конкретного предмета разрабатываются группы дидактических тестов, каждая из которых касается отдельного раздела, темы курса, и итоговый тест, направленный на комплексную проверку знаний студентов.

12. Тестирование предполагает системность.

Процедура разработки теста состоит из четырех этапов.

— на третьем этапе тест проверяется повторно на той же самой популяции;

— на четвертом — калибруется по отношению к возрасту, уровню образования и другим признакам популяции.

На всех этапах разработки теста необходимо учитывать:

б) связанную с этим валидизацию метода , т.е. опpеделение того, насколько он измеpяет тpебуемое свойство;

в) величину выбоpки из популяции, на котоpой должна пpоводиться оценка метода;

г) стимулиpующий матеpиал (таблички, изобpажения, игpушки, фильмы);

д) влияние исследователя в пpоцессе инстpуктиpования, постановки задач, pазъяснений, ответов на вопpосы;

е) условия ситуации;

ж) такие фоpмы поведения испытуеого, котоpые свидетельствуют об измеpяемом свойстве;

з) шкалиpование pелевантных фоpм поведения;

к) фоpмулиpовку pезультатов в ноpмиpованной шкале оценок.

Тема 8. Разработка тестовых заданий

Тестовые задания можно классифицировать следующим образом.

Задания со свободной формой ответа:

-тесты с пропусками. Пропущенные в предложении слова или части предложения должны быть восстановлены, после того как понята вся часть теста;

— задания на дополнение, предполагающие некоторое дополнение в рисунках, схемах;

— задания с кратким ответом, которые могут быть сформулированы вербально или графически;

— микросочинения. Цель таких заданий — выработка умения излагать мысли предельно кратко в одно-два предложения по тип’ вопрос •— ответ.

Задания, предполагающие выбор ответа:

-задания на установление связи, соответствия между кем/чем-либо;

— задания на альтернативные формы. Здесь предполагаются всего два ответа, обозначающие заданную информацию как истинную или ложную. Поэтому ответ состоит в выборе «правильно/неправильно», «да/нет»;

— задания на выбор ответа. Чаще всего предлагается выбор одного ответа из 4 или 5 предложенных.

Особенности разных видов тестовых заданий. Педагогические задания, используемые при конструировании тестов, можно разделить на три вида:

1) тестовые — это традиционные задания с выбором, открытой формы, на установление соответствия, правильную последовательность;

2) псевдотестовые – цепные, тематические и др., возникшие как разновидность контрольного материала. По своей сути они не отвечают требованиям математической теории тестов, поскольку в них нарушен принцип статистической независимости тестовых заданий, но довольно часто применяются во время итоговой проверки знаний;

3) нетестовые — это задания в виде дидактических ребусов, кроссвордов, задач, которые применяются чаще всего самостоятельно, а в тест могут включаться эпизодически и очень редко.

Задания с выбором — самые распространенные, так как весьма удобны в восприятии; в них легче найти правильный ответ, чем сформулировать; содержание задания легко перекладывается на программы ЭВМ. При всей своей внешней легкости данный вид задания требует от студента системных и глубоких знаний, иначе неправильные ответы кажутся более правдоподобными, чем неверные, а такое заблуждение приводит к снижению оценки.

Существует несколько разновидностей заданий с выбором:

— задания, построенные в форме вопроса, требующего однозначного ответа «да/нет», «верно/неверно»;

— задания с выбором одного правильного ответа из двух, трех, четырех, пяти ответов;

— задания с выбором нескольких правильных ответов. При композиционном построении этих заданий учитывается несколько принципов.

Принцип противоречия. Ответы подбираются таким образом, что второй отрицает первый: «записывается/не записывается», «изображается/не изображается», «подчиняется/не подчиняется»…

Принцип противоположности ответов. Пример: «открыты/ закрыты», «возрастает/убывает», «вверх/вниз»…

Принцип однородности позволяет при формулировании ответов отображать основные стороны явления, например; «Основным элементом (указывается педагогическое явление, закон, теория…) является…», а далее идут перечисления, характеризующие данное явление.

Принцип кумуляции означает, что содержание второго ответа вбирает в себя содержание первого, содержание третьего — второго и т.д.

Пример. Толерантным называется отношение:

а) рефлексивное;

б) рефлексивное и симметричное;

в) рефлексивное, симметричное и транзитивное¹. (См.: Аванесов В. С. Композиция тестовых заданий. — М., 1998. — С. 28).

Принцип сочетания предполагает, что в каждом ответе могут сочетаться два, три, иногда четыре слова.

Пример: Ф.Шуберт писал музыку:

а) органную и симфоническую;

б) симфоническую и фортепианную². См.: Там же. — С. 31.

Принцип градуирования означает, что в ответах неправильные варианты оказываются неверными в разной степени. Один — просто неправильный, второй — совершенно неправильный и противоположный правильному ответу.

Принцип удвоенного противопоставления заключается в том, что ответы построены с использованием сочетаний.

Пример: Социальная информация:

а) идеальна по форме и содержанию;

б) материальна по форме и содержанию;

в) идеальна по форме и материальна по содержанию;

г) материальна по форме и идеальна по содержанию³. См.: Там же. — С. 36.

Перечисленные принципы реализуются через инструкцию «Обведите кружком номер наиболее правильного ответа».

При разработке всех заданий с выбором преподаватель учитывает формулировку инструкции, содержания, ответов, количество ответов, определяет способы выставления оценок.

Инструкция в заданиях с выбором бывает трех видов:

1) «обведите кружком номер правильного ответа», «Подчеркните номер правильного ответа», если используется ЭВМ — «Отвечая на вопрос (задание), нажмите на клавишу с номером правильного ответа». Такая инструкция содержится в заданиях с выбором одного правильного ответа;

2) «обведите кружком номер наиболее правильного ответа» — эта инструкция реализует принцип формулирования заданий с ответами, правильными в различной мере;

3) «обведите кружком номера всех правильных ответов», если предлагаются задания с выбором нескольких правильных ответов.

При формулировке содержания задания учитываются следующие условия:

— задания формулируются с использованием слов в превосходной степени — «самый», «наибольший», «наименьший», «наилучший», которые ставятся в начале предложения для усиления значения;

— общее количество слов в задании – от 5 до 7, но может быть и только одно. Например, «Тест — это…», далее формулируются ответы;

— для того, чтобы уйти от громоздкости теста, следует оптимизировать количество ответов от 2—3 до 5;

— короткие задания требуют и коротких, лаконичных ответов;

— в условиях дефицита времени, отведенного на решение тестового задания, особую значимость приобретает шрифтовое оформление. Шрифт задания и шрифт ответов должны отличаться друг от друга.

Оценка выставляется за правильно выполненное задание. Принято’. за правильный ответ — 1 балл, за неправильный — 0. Суммарное число правильных ответов называется «тестовым баллом испытуемого» и выражает уровень знаний студента.

Задания открытой формы.

1. Проверяются знания названий, фактов, свойств, дат, причинно-следственных связей.

2. Формулировка имеет вид утверждения.

3. Утверждения делаются как можно более короткими.

4. Вместо ответов в задании ставится прочерк. Лучше, если прочерк будет ставиться в конце утверждения или ближе к его концу.

5. Нужно добавлять как можно меньше слов, так как чем больше пропусков, тем меньше улавливается смысл и возникают ошибки общего понимания.

6. Инструкция начинается словами «Дополнить (дописать) недостающее…».

7. Тестируемый должен сам дописать ответ, который говорит о его знании или незнании.

8. Оценка выставляется традиционно — по баллу за каждый правильный ответ. Если в задании два пропуска, то оценка ставится так:

— правильно дополняются два слова — 2 балла;

— правильное первое слово, а второе неправильное — 1 балл;

— правильное второе, а неправильно — первое — 1 балл;

неправильно проставлены два ответа — 0 баллов.

Задания на установление соответствия.

1. Проверяются ассоциативные знания, т.е. знания о взаимосвязи определений и фактов, авторов и их произведений, форм и содержания, сущности и явлений, о соотношении различных свойств, законов, дат.

2. В заданиях нужно установить соответствие между элементами одного столбца и элементами другого. Например, в левом столбце записываются фамилии писателей, композиторов, педагогов, а в правом — их произведения, концепции. Элементы левого столбца (фамилии, направления и т.д.) — это постоянные данные — константы. Элементы правого — переменные, поскольку служат ответом: нужно из всех предложенных ответов найти правильный.

3. Названия столбцов должны быть краткими, читаемыми и понятными с первых слов.

4. Строка ответов пишется посередине задания.

5. Обычно названия столбцов выделяются. Левый столбец обозначается цифрами, а правый — буквами.

6. Число элементов в правом столбце, т.е. ответов, в два раза больше, чем в левом, — чтобы при выборе ответа студенты не могли использовать метод последовательного исключения.

7. Инструкция указывает способ действия: «Установить соответствие…», «Установить соответствие между…».

8. Сложные в решении — «матричные задания», которые предполагают установление соответствия трех и более элементов.

9. Результат оценивается несколькими способами:

а) 1 балл дается за правильное выполнение всего задания; если допущена ошибка — за все задание ставится 0 баллов;

б) можно оценивать в 1 балл каждое правильно установленное соответствие, при этом тестируемый может набрать сразу несколько баллов;

в) за все правильные ответы выставляется 2 балла, за одну ошибку — 1 балл, за две и более — 0.

10. Если данный вид задания используется в тесте наряду с другими видами заданий, то оценивается он традиционно: за правильный ответ •— 1 балл.

Задания на установление правильной последовательности.

1. Преследуют цель формирования алгоритмического мышления,

2. Устанавливают последовательность исторических событий, технологических действий и операций, процессов, цепочки умственных действий.

3. Ключевое слово в названии задания пишется в именительном падеже. Например, «Последовательность операций мозгового штурма…» и далее указываются этапы генерализации идей.

4. Для ответа нужно поставить цифры рангов в прямоугольниках, стоящих слева перед каждым элементом задания.

5. Элементы ответов ставятся в случайном порядке, чтобы исключить намек на правильный порядок.

6. Чтобы тестируемый, не зная, не смог угадать правильный ответ, окончания всех слов, так же как и название задания, пишется в именительном падеже.

7. В инструкции указывается: «Установить правильную последовательность…».

8. Оценка традиционная — по системе «1/0», так как неправильный первый ответ влечет за собой остальные неправильные ответы. Однако можно оценить задания 3 баллами, где на 1 балл снижается оценка, если ошибка допущена в конце ранжирования, на 2 — если в середине, на 3 — в самом выполнения задания.

Цепные задания предполагают, что правильность последующего ответа зависит от ответа на предыдущий вопрос, поскольку основу этого вида задания составляет принцип содержательной зависимости ответов.

Тематические задания включают в себя разные формы тестовых заданий, объединенных одной темой. Преподаватель сам определяет и их количество, и последовательность, и способы оценивания.

Компьютерный тест представляется в виде специальной компьютерной программы, в которой зафиксирована как презентация тестовых материалов, так и их обработка в виде анализа и оценки ответов. В компьютеризованный тест входят все имеющиеся виды заданий. Часто они выполняются на основании теста «кло-уз», когда по ходу выполнения заданий, по результатам первых 5— 10 из них, компьютер позволяет перейти тестируемому на более сложный или, наоборот, более легкий вариант. Из-за последней особенности такой компьютерный тест называют еще адаптированным.

Глоссарий

ВАЛИДНОСТЬ (англ. – «действительный, пригодный, имеющий силу») – комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.

ВАЛИДНОСТЬ ДИАГНОСТИЧЕСКАЯ (конкурентная) – характеристика методики (теста), отражающая способность теста дифференцировать испытуемых по изучаемому признаку.

ВАЛИДНОСТЬ КОНСТРУКТНАЯ – один из основных типов валидности, отражающий степень репрезентации исследуемого психологического конструкта в результатах теста.

ВАЛИДНОСТЬ ОЧЕВИДНАЯ – представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого или другого лица, не располагающего специальными знаниями о характере использования и целях методики.

ВАЛИДНОСТЬ СОДЕРЖАТЕЛЬНАЯ (внутренняя, логическая) – комплекс сведений о репрезентативности заданий теста по отношению к измеряемым свойствам и особенностям.

МЕТОД РАСЩЕПЛЕНИЯ – метод, суть которого заключается в выполнении испытуемым заданий двух равноценных частей теста.

НАДЕЖНОСТЬ – одно из трех главных психометрических свойств любой измерительной психодиагностической методики (теста).

ШКАЛЫ ИЗМЕРИТЕЛЬНЫЕ – это форма фиксации совокупности признаков изучаемого объекта с упорядочиванием их в определенную числовую систему.

Примеры похожих учебных работ

Полит психология тесты ответы

... бессознательного, политической культуры К какойгруппе методов, используемых в политической психологии, относятся тесты, эксперимент и наблюдение: К какойгруппе методов, используемых в политической психологии, относятся психологические ...

Психология и педагогика(тест, ответы)

Естественнонаучную основу психологических знаний составляет… а) Рефлекторная теория И.М. Сеченова; б) Учение И.П. Павлова о рефлексах; в) Работы А.А. Ухтомского, Н.А. Бернштейна, И.С. Бериташвили; 7. Чувствами называется…. а) Развитые потребности; ...

Педагогические тесты. Термины и определения

С одной стороны, утверждается необходимость контроля как неотъемлемой части педагогического процесса. Тем самым отвергаются попытки как приуменьшения, так и преувеличения его роли. Успех дела, в конечном счете, решается уровнем постановки ...

Практическое использование адаптированного теста интеллекта в клинике нервно психических ...

... высокая надежность и валидность, возможность количественного выражения результатов ... выполнения экспериментально-психологических заданий, характерные для ряда нервно ... этого «батарея» интеллектуальных тестов, созданная Д.Векслером, опыт адаптации ...

Тестирование, как метод исследования

... заданий проективных тестов не существует правильных ответов. В зависимости от представленности в тесте речевого компонента различаются тесты ... этапов тестирования стандартизация заданий и ... надежности и валидности - на третьем этапе тест проверяется ...