I. Теоретическое обоснование психодиагностической методики

Этапы

Название этапов

Содержание этапов

Примечания

I.

Определение цели разработки методики (ПДМ)

В зависимости от цели методика предназначается:

1.Для постановки психологического (психиатрического) диагноза.

2.Для классификации специалистов.

3. Для дифференцированной психодиагностики.

4. Для перемещения и расстановки кадров.

5. Для профориентационной работы.

6. Для профотбора и профподбора.

1. Чем важнее цель, тем методика должна быть чувствительнее.

2. Для практической психодиагностики в целях отбора и расстановки кадров методика должна иметь жестко фиксированные цели.

3. Цель формулируется с учетом потребностей и реальных возможностей.

4. Источники формирования цели: прошлый опыт, прецеденты, прогнозы и суждения специалистов, анализ литературы, экспериментальные данные и т.п.

II.

Определение сферы использования методики

Важнейшие сферы использования ПДМ:

1. Образование 11. Спорт

2. Производство 12. Управление

обществом

3. Оборона 13. Культура

4. Транспорт 14. Искусство

5. Здравоохранение 15. Экология

6. Социальное обеспечение

7. Сфера услуг

8. Наука 16. Воспитание

9. Правосудие

10. Государственная безопасность.

1. В каждой из сфер существуют свои специфические цели, задачи и методы.

2. Может быть определено несколько сфер использования ПДМ с учетом специфики условий.

III.

Выбор конкретной сложности ПДМ для пользователей

Необходимо учесть следующее:

1. Для специлистов-психологов ПДМ может быть полной и сложной в интерпретации результатов.

2. Для неспециалистов ПДМ может быть разработана в упрощенном варианте.

IY.

Определение диагностируемой популяции

Учитываются следующие характеристики:

— пол

— возраст

— состояние здоровья

— образовательный уровень и вид образования

— владение языком, на котором составлена методика

— национальность

— вероисповедание

— принадлежность к профессиональной группе

— социальное происхождение

— территория, на которой проживает

В зависимости от состава диагностируемой популяции необходимо учитывать правила:

1. Характер, форма и содержание стимульного материала должны быть с характеристиками популяции.

2. Нормы должны быть разработаны с учетом социокультурных различий.

Y.

Предметная направленность ПДМ

Что должна измерять ПДМ:

1. Сложная комплексная или простая характеристика личности.

2. Внешнее поведение или внутреннее состояние испытуемых.

3. Свойства, качества, процессы, состояния, образования или особенности личности.

4. Выраженность, частота или интенсивность проявления психологической характеристики.

В зависимости от направленности:

1. Используются: единичный (отдельный); батарея; система тестов; набор тестов;

2. Выбирается адекватный стимульный материал.

YI.

Выбор и определение (разработка) стимульного материала ПДМ.

Основные формы стимульного материала:

1. Задания (цифры, задачи, фигуры, буквы, символы, сюжеты, картинки, фрагменты, схемы, цвета и т.п.)

2. Вопросы или утверждения.

YII.

Определение формы ответов на задания (вопросы) ПДМ.

Форма ответов выбирается:

1. Как выражение отношения: согласие, неопределенность, несогласие (обращение);

2. Как проекция актуальных, ретроспективных или перспективных состояний, отношений и т.п. на стимульный материал;

3. Как свободная интерпретация заданий (вопросов).

4. Как выбор из вариантов ответов предпочитаемого.

1. Формы ответов должны быть стандартизированы в тех ПДМ, где это возможно.

2. Изменение формы отвтета влияет на валидность ПДМ.

YIII.

Поиск, выделение и обосновние критерия (критериев) валидизации ПДМ.

Предусматриваются следующие процедуры;

1. Изучение реестра критериев в реальной жизнедеятельности популяции;

2. Выделение наиболее репрезентативной исследуемой характеристики личности;

3. Оценка сложности критерия (простой или комплексный);

4. Проверка соответствия критерия (критериев) общим требованиям: релевантность, устойчивость, полнота, динамичность, надежность, дифференцирующая способность, свобода от контиминации;

5. Анализ корреляции с критерием: отдельного теста, тестов в батарее отдельно каждого, батареи в целом.

1. Критериев вануизации может быть много, но каждый вануизирует тест отдельно.

2. Коррекция критерия должна быть высокой как с батареей тестов в целом, так и с каждым отдельным тестом.

3. Критерий должен быть “нормально распределен”в популяции.

4. Тесты в батарее не должны хорошо коррелировать между собой, что свидетельствует о том, что каждый из них отражает различную психологическую характеристику личности.

IX.

Расчет временных параметров ПДМ

Расчет времени производится исходя из следующих посылок:

1. необходимо ограничение по времени для испытуемых , или нет;

2. Сложность и “данна” ПДМ.

3. Необходимые затраты времени на инстрезитирование, работу с ПДМ испытуемых, обработка результатов.

4. Отдельные рассчеты, если обследование производится с помощью ЭВМ.

X.

Определение условий применения ПДМ.

Наиболее важными являются две группы условий:

1. Организационные условия:

— квалификация экспериментатора: разработчик ПДМ; пользователь- профессионал; пользователь-непрофессионал.

— отношения с испытуемыми: обязательное или добровольное обследование; за оплату или бесплатно и т.п.

2. Материально-технические условия:

— специально оборудованное помещение и рабочие места или нет;

— компьютерный, бланковый или смешанный варианты ПДМ;

-использование аудио-и видеоаппаратуры;

— стандартные для всех испытуемых условия.

XI.

Формирование исследовательской выборки

Включает две основные процедуры:

1. Определение необходимого количества выборок;

2. Определение их количественной и качественной характеристик.

а) одноразные

б) смешанные.

1. Количество выборок в исследовательских целях должно быть не менее трех.

2. Выборки должны быть репрезентативны.

XII.

Разработка инструкций, ключей и интерпретацион-

ных схем.

Написание и оформление вспомогательных документов ПДМ;

1. Инструкция для работы с ПДМ экспериментатору.

2. Инструкция для работы с ПДМ испытуемому;

3. “Ключ” (“дешифратор”, трафарет, шаблон и т.п.) для пользователей.

4. Общая схема интерпретации результатов обследования.

XIII.

Компоновка и оформление бланков (тетрадей) со стимульным материалом

Последовательность операций:

1. Составление композиционной схемы.

2. Наполнение схемы стимульным материалом.

3. Оформление стимульной части ПДМ в целом.

Этапы

Название этапов

Последовательность и содержание процедур в

каждом этапе.

Примечания

1.

2.

3.

4.

I.

Подбор стимульного (тестового) материала.

В ходе подбора (разработки) стимульного материала выполняются процедуры

1. Выбора и определения трудности заданий

трудность задания— это статистический уровень его решаемости в выборке стандартизации.

Показатель трудности задания— выборки решивших и не решивших задание.

а) Вычисляется индекс трудности Ит по формуле:

где:

Ut- индекс трудности в процентах.

Nt- количество испытуемых правильно решивших задание

N- общее число испытуемых

б) В случаях, если выборка и количество заданий в ПДМ велико, индекс трудности определяется с помощью “контрастных” групп.

— В каждую из групп “лучших” и “худших” включается по 27% лиц, имеющих соответствующие результаты по тесту в целом.

— Индекс трудности здесь вычисляется как среднееарифметическое индексов трудности для групп максимальным и минимальным результатом.

Nп -число правильно решивших задание.

Nн- число неправильно решивших задание.

Nmax. — число имеющих лучшие результаты по тесту.

Nmin. — число имеющих худшие результаты по тесту.

m- число вариантов ответов.

Те задания, которые правильно решили более 84% испытуемых, и те, которые не решили 84%, исключаются из теста.

в) Могут использоваться другие процедуры отбора заданий теста по характеристике “трудность”:

— разделение на группы “лучших” и “худших” по показателю эффективности (успешности) в реальной деятельности;

— экспертное оценивание с использованием простых расчетов (коэффициент вариаций).

— экспертам предлагается шкала, по которой они оценивают оптимальность трудности задания в баллах:

— проводятся расчеты: среднее арифметическое, стандартное отклонение.

— рассчитывается коэффициент вариации V как соотношение величины стандартного отклонения и среднего арифметического.

— задание не включается в тест, если величина коэффициента вариации (т.е. колебание вокруг средней в обе стороны) превышает величину более 0,3.

г) Отображенные задания упорядочиваются по правилу нарастания трудности.

Если предположить, что частоты распределения оценок испытуемых, выполнивших задание, подчиняются нормальному закону, то в пределах (М) величины одного стандартного отклонения от среднего значения находится около 68 % испытуемых, а за их пределами — по 16 %.

II.

Проверка заданий на дифференцирующую способность.

Для проверки и отбора заданий теста, которые дифференцируют испытуемых данной выборки на категории относительно максимального и минимального результатов по тесту необходимы следующие процедуры:

1. Ответы испытуемого по каждому заданию представляются дихотомической шкале соответственно “правильно” — 1 балл, “неправильно” — о баллов. Общая сумма баллов по всем заданиям при этом будет являться “сырой” оценкой.

2.Показатель диффиринцирующей способности заданий определяется как мера соответствия успешности выполнения одного задания тесту в целом.

При этом данный показатель рассчитывается как коэффициент точечно-бисериальной корреляции по формуле:

Rpb- индекс дискриминации (диффиренциации).

Xn — среднее арифметическое оценок по тесту у тех, кто правильно решил задание;

X — среднее арифметическое всех индивидуальных оценок по тесту;

_x— стандартное отклонение индивидуальных оценок по тесту;

Nn- количество правильно решивших задание.

N — общее число выполнявших тест.

3. Полученное значение может быть в интервале от 1 до +1. Высокое положительное значение коэффициента может свидетельствовать об удовлетворительной дифференцирующей способности задания теста, а отрицательное интерпретируется наоборот.

При этом коэффициенты должны быть статистически значимы на приемлемом уровне.

4. Если имеются пропуски в ответах, применяется следующая формула:

Xn- среднее значение оценок по тесту у тех, кто правильно выполнили задание;

Xo- среднее значение индивидуальных оценок испытуемых, выполнявших задание;

_xo— стандартное отклонение индивидуальных оценок испытуемых, выполнявших задание;

No- общее к-во испытуемых, выполнявших задание.

Nn- количество правильно решивших задание

5. Если имеется соответствующий всем нормативным требованиям и нормально распределенный (близко к нормальному) критерий (критерии) валидизации, то индекс (коэффициент) расчитывается с применением метода контрасных групп (“лучшие” и “худшие”).

Коэффициент дискриминации расчитывается как разность между долей лиц, правильно решивших задачу из “лучшей” и “худшей” групп.

Kd- коэффициент (индекс) дискриминации;

Nn max- к-во испытуемых, правильно решивших задание из группы “лучших”.

Nn min- к-во испытуемых, правильно решивших задание из группы “худших”;

Nmax- количество испытуемых “лучшей” группы.

Nmin- количество испытуемых “худшей” группы.

1. При формировании контрастных групп руководствуются правилом: нижняя граница численности групп — 10 % от общего количества испытуемых в выборке, верхняя — 33 %. Обычно выделяется по 27% — 33 %.

2. С учетом этой квоты формула коэффициента дискриминации преобретает вид:

III.

Проверка заданий на гомогенность (внутреннюю согласованность)

С целью проверки и установления внутренней согласованности теста расчитывается коэффициент корреляции между результатом по тесту в целом и каждого его отдельного задания . Процедура вычисления сводится к следующему:

1. Если зафиксировать (а) результаты каждого испытуемого в выполнении задания теста в дихотомической шкале: “решил” — 1, “не решил” — 0, а также (б) их оценки в “сырых” баллахв целом по тесту, то можно вычислить между ними точечно-бисериальный коэффициент корреляции, характеризующий степень однородности (гомогенности) состава заданий с точки зрения измеряемого качества.

X1-среднее по х испытуемых со значением 1 по У;

X0- среднее по х испытуемых со значением 0 по У;

x- стандартное отклонение всех значений по х;

N1- число испытуемых с 1 по У;

N0- число испытуемых с 0 по У;

N = N_{1 +} N₀.

2. После вычислений делаются выводы:

а) слабая внутрення согласованность — (0,1 — 0,45)

б) средняя -”- -”- (0,46 — 0,60)

в) хорошая -”- -”- ( 0,60 — 0,75)

г) очень хорошая -”- (0,75 — и выше)

Этот же коэффициент можно вычислить, используя четырехпольный коэффициент корреляции:

Fy- число правильно решивших задание относительно общего числа обследованных в “лучшей” группе;

Fd- число правильно решивших задание в “худшей” группе;

P- общая пропорция правильно выполнивших задание;

Q- число неправильно решивших задание.

Нормативные значения этого коэффициента в зависимости от количества обследованных (№) составляют:

В случае, если коэффициент приближается к нулю, проверяемое задание теста отбраковывается или подлежит переделке .

IY.

Проверка и обеспечение надежности теста.

Одна из наиболее важных характеристик теста проверяется несколькими способами :

1. Способ повторного обследования (тест-ретеет) одних и тех же испытуемых одним и тем же тестом (тестами).

В ходе этой процедуры проверяется гипотеза о мере соответствия результатов первого и второго обследования или об устойчивости рангового порядка в выборке.

Выражением такой меры является коэффициент корреляции между результатами этих двух актов обследования. Иногда он может называться коэффициентом нажежности (К_н).

Если результаты представлены в шкале порядков, то используется коэффициент корреляции Спирмена.

Di- разности между рангами каждой переменной из пар значений Х и У;

N- число сопоставляемых пар.

Если результаты представлены в интервальной шкале, используется коэффициент корреляции Пирсона.

1. Между первым и вторым обследованием временной интервал выбирается в интервале до нескольких месяцев.

2. Способ повторного тестирования целесообразно применять для ограниченного числа тестов, в основном тех, где заблаговременная осведомленность испытуемого не оказывает заметного влияния на результаты повторного обследования.

Среди них:

— все те, которые имеют большое количество заданий;

— сенсамоторные тесты.

— тесты скорости.

2. Способ с использование параллельных форм тестов.

Сущностью этой процедуры является поиск соответствия результатов обследования по разработанному тесту результатам по уже известному и апробированному тесту, измеряющему ту же психологическую характеристику.

Выражением меры такого соответствия является коэффициент Пирсона результатов этих двух обследований.

N- количество испытуемых;

Xi- значение i-го показателя по 1-му тесту;

Yi- значение i-го показателя по 2-му тесту.

Иногда используется способ определения надежности путем обследования параллельными формами равноразделенных групп одной выборки. Последовательность работы здесь следующая:

— Все обследуемые разделяются на 2 примерно равные группы.

— Каждой из групп предлагается одна из форм теста.

— Через определенный срок (до недели) проводится повторное обследование, но формы тестов заменяются.

— По результатам первого и второго обследований производятся расчеты коэффициента корреляции Пирсона или Спирмена в зависимости от применяемых изме

рительных шкал.

3. Способ определения надежности путем анализа устоичивости результатов по каждому отдельному заданию, или заданиям, объединенным в смысловые группы (блоки).

Существует несколько методических приемов в рамках этого способа:

а) Прием “расщепления” основан на предположении о том, что при нормальном (близком к нему) распределении результатов по всему тесту выполнение любого случайновзятого набора из частей теста дает аналогичное распределение. При использовании этого приема необходимо соблюсти правила:

— для оценки надежности подбираются как правило две эквивалентные по своим нормативным характеристикам группы заданий по принципу: четные и нечетные, близкие по значениям индексов трудности и диффиринцирующей способности;

— для обследуемых по каждой группе заданий отдельно вычисляются необходимые статистики: среднее арифметическое, дисперсия, стандартное отклонение;

— расчет коэффициентов корреляции сравниваемых рядов характеризует надежность только половин теста;

— если стандартные отклонения обеих половин теста равны (__, то для вычисления коэффициента надежности всего теста используется формула Спирмена — Брауна:

Rn- коэффициент надежности полного теста.

Rab- коэффициент корреляции между половинами теста.

Для коэффициента надежности должен быть обязательно определен доверительный интервал.

б) Прием “надежность как гомогенность” теста используется, если число частей (групп, блоков) теста равно числу его заданий. В этом случае речь идет об анализе внутренней согласованности заданий теста.

Чаще всего в практике для этой цели используется формула Кьюзера — Ричардсона.

гдег

где :

P— индекс трудности;

Q= 1-P

Rpb — коэфициент (индекс) дискрииминации

Эта формула используется, если задания оцениваются в дихотомической шкале наименований (правильно -1, неправильно — 0 баллов).

Если же используется шкала с другой размерностью, применяется формула:

где :

_xi²— сумма дисперсий результатов отдельных заданий

N — количество испытуемых.

После всех вычислений, полученные коэффициенты сравниваются с нормальными значениями (приведены в таблице)

______________________________________

Оценка Значение коэфф. надежности

———————————————————

совсем неудов-

летворительно 0,00 — 0,599

неудовлетворит. 0,600 — 0,699

удовлетворительно 0,700 — 0,799

хорошо 0,800 — 0,899

очень хорошо 0,900 — 0,949

отлично 0,950 — и выше

_______________________________________

1. Способ с использованием параллельных форм предпочтительнее ретестового, так как возможность заблаговременной тренировки исключается, и, кроме того, резко уменьшается временной интервал.

2. Величина коэффициента корреляции отражает не только надежность теста, но их взаимозаменяемост

3. При использовании этого способа необходимо учитывать следующие аспекты:

а) Наборы заданий обеих тестов должны отвечать одним и тем же требованиям.

б) Задания должны измерять одни и те же показатели;

в) “Длина” тестов должна быть примерно одинакова.

4. Способ использования параллельных форм целесообразно использовать для интеллектуальных тестов.

Y.

Валидизация психодиагн. методики.

Валидизация ПДМ— проверка выдвинутых гипотез о том, как (а) коррелирует разрабатываемый тест с другими тестами, констредиты которых аналогичны, или (б) связаны с конструктами разрабатываемого.

Важно обеспечить вначале конструктную (концептуальную) валидность ( ВК).

Валидность конструктная отражает степень психологического феномена (конструкта) в результатах теста.

1. Классификация типов и видов валидности носит условный характер, т.к. в зависимости от формы и содержания критериев валидизации одни и те же данные могут трактоваться по иному.

2. Валидность — это динамическая характеристика теста. Она может меняться в зависимости от : условий применения; изменения социальных и возрастных норм.

Способы характеристики конструктной валидности разрабатываемого теста:

а) сопоставление с тестом, конструктное содержание которого известно. Корреляция между ними означает, что разрабатываемый тест исследует ту же сферу поведения или психологическую характеристику личности, что и уже известный тест.

б) теаретическое исследование области измеряемых тестом свойств, определение правильности или соответствия конструктов разрабатываемого теста уже общепринятым теориям, научно установленным данным и позициям.

В последующем, в зависимости от цели использования ПДМ устанавливаются типы валидности. Типизация валидности обусловливается количеством и своеобразием информации о тесте.

Первый тип:Валидность конкурентная

— способность теста дифференцировать испытуемых по изучаемой характеристике (признаку) на группы, ранги и т.п.

Второй тип:Валидность очевидная

— совокупность представлений о тесте, сфере его использования, эффективности и практической ценности у лиц, не располагающих данными о характере использования и целях теста. (испытуемые, эксперты, заказчики и т.д.)

Третий тип:Валидность критериальная отражает соответствие диагноза и прогноза определенной совокупности внешних критериев.

различаются 2 вида критериальной валидности:

а) Прогностическая.Это информация о тесте, характеризующая точность прогноза психолога через определенное время после обследования.

Выражением прогностической валидности является коэффициент корреляции между результатами обследования и полученными значениями внешнего критерия через определенное время.

б) Текущая:Это информация о тесте, характеризующая соответствие результатов актуального обследования по валидизируемому тесту независимому (внешнему) критерию.

Примечание:1) В практике используются и другие определения видов и типов валидности. Вместе с тем по процедуре и содержаниюэмнирическаявалидность есть не что иное как критериальная. Все другие виды валидности есть смысл отнести к конструктной.

2) Совершенствование программ и методов обучения и профессиональной подготовки; изменение содержания деятельности испытуемых и в соответствии с этим требований к ним; появление научно-психологических теорий и фактов; по новому рассматривающих конструкты теста.

3) Положения пп. 1.2. требуют вследствие этого постоянного контроля валидности тестов.