Настоящая статья посвящена анализу психометрических свойств русской версии теста Дж. Гилфорда и М. О’Салливена на социальный интеллект. В отечественной психологии исследования, посвящённые психометрическому обоснованию опубликованных психодиагностических методик, встречаются довольно редко, особенно по сравнению с количеством аналогичных работ за рубежом. Важность таких исследований подчёркивается профессиональными психодиагностами, так как большинство отечественных методик, как оригинальных, так и адаптированных, не проходит полноценного психометрического обоснования.
Понятие социального интеллекта оказалось очень актуальным в современной психологии. По мнению многих специалистов, этот конструкт обладает высокой экологической валидностью, так как позволяет объяснять и предсказывать успешность социальных взаимодействий человека, что в свою очередь обусловливает успешность в широком круге деятельностей. Вместе с тем проблемы измерения социального интеллекта разработаны крайне слабо. Самый распространённый (и, насколько нам известно, единственный) в нашей стране инструмент для измерения социального интеллекта — методика исследования социального интеллекта Е. С. Михайловой (Михайлова, 1996), представляющая собой российскую адаптацию теста Дж. Гилфорда и М. О’Салливена, который разрабатывался в 60–70"е годы XX в. (O’Sullivan, Guilford, 1975). Эта адаптация основывается на французской версии теста, опубликованной в 1977 г. (O’Sullivan, Guilford, 1977). Работа над российской версией была предпринята в период с 1986 по 1990 г.; она основана на исследовании 210 человек в возрасте от 18 до 55 лет.
После опубликования российская версия теста Гилфорда и О’Салливена получила довольно широкое распространение. Она используется как в практической работе психологов, так и при проведении научных исследований. Вместе с тем данные о её психометрических свойствах очень ограничены. Они сводятся к приведённым в руководстве по использованию методики данным о валидности, которые в целом не очень убедительны. В связи с этим возникает необходимость дальнейших исследований психометрических свойств российской версии, чему и была посвящена настоящая работа.
В основе теста Гилфорда и О’Салливена на социальный интеллект лежит знаменитая модель интеллекта Дж. Гилфорда (Guilford, 1967), представляющая набор интеллектуальных способностей человека в виде куба. Одно из измерений этого куба («содержание») — характер материала, с которым совершаются интеллектуальные операции. Гилфорд выделяет четыре типа «содержания»: образное, символическое, семантическое и поведенческое. В рамках данной модели социальный интеллект отождествляется со всеми видами интеллектуальных способностей, связанных с поведением. Другое измерение куба Гилфорда — «действия», т. е. тип интеллектуальных операции. При разработке теста на социальный интеллект Гилфорд сосредоточился только на одном виде операций — «познание». Наконец, третье измерение куба — «результат— описывает форму, в которой происходит переработка информации; здесь выделяется шесть вариантов, из которых в тест на социальный интеллект включено только четыре. Таким образом, в методику вошло четыре субтеста, которые характеризуются следующим образом.
1. «Истории с завершением». Познание результатов поведения — способность предвидеть последствия поведения, исходя из имеющейся информации. 2. «Группы экспрессии». Познание классов поведения — способность распознавать общие существенные свойства в потоке экспрессивной или ситуативной информации о поведении. 3. «Вербальная экспрессия». Познание преобразований поведения — способность понимать изменения значения сходного вербального поведения в разных ситуационных контекстах. 4. «Истории с дополнением». Познание систем поведения — способность понимать логику развития ситуаций взаимодействия, смысл поведения людей в этих ситуациях.
В первом субтесте «Истории с завершением (14 заданий) используются рисунки типа комиксов, в которых участвует персонаж по имени Барни. На основном рисунке изображается некоторая ситуация. Испытуемый должен определить наиболее типичное и логичное развитие ситуации, выбрав один из трёх рисунков, расположенных рядом с основным. Во втором субтесте «Группы экспрессии (15 заданий) используются схематические изображения мимики, жестов или поз. Испытуемому даётся три таких изображения, выражающих одно и то же психическое состояние; к ним нужно подобрать ещё одно изображение из четырёх, расположенных рядом. В третьем субтесте «Вербальная экспрессия (12 заданий) используются короткие высказывания, которые могут иметь разный смысл в зависимости от ситуационного контекста. Испытуемому даётся высказывание в определённом контексте; далее из трёх предложенных вариантов контекста нужно выбрать тот, в котором высказывание имеет такой же смысл. Четвёртый субтест «Истории с дополнением (14 заданий) также использует рисунки типа комиксов, в которых участвует персонаж по имени Фердинанд. Каждой задание представляет собой последовательность из четырёх рисунков, один из которых пропущен. Для заполнения пропуска нужно выбрать один из четырёх рисунков, которые предлагаются для заполнения пропуска.
В результате подсчёта количества правильных ответов получается балл по каждому субтесту. Суммирование баллов по субтестам даёт так называемую композитную оценку, характеризующую социальный интеллект испытуемого в целом.
Для сбора эмпирических данных, которые можно было бы использовать для психометрического анализа, мы провели российскую версию теста Гилфорда и О’Салливена на выборке, состоящей из 195 человек. Из неё были исключены те испытуемые, которые пропустили ответы более чем на три задания подряд. Мы предположили, что такой паттерн ответов был связан скорее с отвлечением внимания испытуемых или нежеланием работать, чем с неспособностью выбрать правильный ответ на каждое из этих заданий. Исключая таких испытуемых из обработки (их оказалось 8 человек), мы стремились к повышению достоверности результатов. Таким образом, окончательная выборка состояла из 187 человек в возрасте от 15 до 42 лет, средний возраст 21 год. 24 % испытуемых были мужского пола, 76 % — женского. В выборку вошли студенты-психологи младших курсов различных вузов г. Москвы, военнослужащие (рядовые), старшеклассники школ г. Москвы.
Анализ полученных данных состоял из следующих этапов: 1. Сопоставление полученных параметров распределений тестовых баллов с нормативными данными, приводимыми автором российской версии. 2. Оценка надёжности и валидности субтестов и теста в целом. 3. Анализ факторной структуры полученных данных.
1. Сопоставление параметров распределений тестовых баллов с нормативными данными. В таблице 1 представлены полученные средние значения и стандартные отклонения для каждого субтеста и композитной оценки. Для сравнения приведены аналогичные данные Е. С. Михайловой. Жирным шрифтом выделены те средние значения в её данных, которые статистически значимо отличаются от средних значений, полученных нами (применялся t-критерий, уровень значимости везде меньше 0,01, кроме второго субтеста, где он меньше 0,05). Из таблицы 1 видно, что, несмотря на некоторые небольшие различия в средних значениях (которые объясняются, скорее всего, особенностями выборок), в целом новые и уже опубликованные данные соответствуют друг другу. Таблица 1 Средние и стандартные отклонения тестовых баллов
2.1. Оценка надёжности. Была проведена оценка одного из видов надёжности — внутренней согласованности — для каждого субтеста и для композитной оценки. Рассчитывались показатели α-Кронбаха; были получены следующие результаты (таблица 2). Таблица 2 Оценка внутренней согласованности для каждого субтеста и композитной оценки
Для традиционных тестов интеллекта такой уровень α-Кронбаха считается очень низким. Наиболее благополучным выглядит третий субтест, хотя и его внутренняя согласованность не очень высока. Второй субтест обладает практически нулевой внутренней согласованностью. Если в композитную оценку не включать субтест 2, то её альфа Кронбаха удаётся повысить, но незначительно — до 0,61.
2.2. Оценка валидности.
Имеющиеся в нашем распоряжении данные не позволяют оценить критериальную или конструктную валидность теста. Однако была проведена оценка валидности заданий теста по содержанию. Для этого авторы данной работы проанализировали каждое задание на предмет соответствия вариантов ответа содержанию того или иного субтеста. Оказалось, что ряд заданий вызывает сомнения с точки зрения того, какой вариант ответа можно считать правильным и существует ли вообще правильный вариант ответа среди предложенных. Для получения объективных данных такого рода надо было бы привлечь группу экспертов, не знакомых с тестом. В связи с тем, что в качестве экспертов выступили сами авторы данной работы, мы применяли максимально консервативный подход, поставив под сомнение только те задания, в которых варианты ответов, правильные с точки зрения обоих экспертов, не совпадали с ключом. Таких заданий оказалось четыре: № 8, 13 и 15 из второго субтеста и № 8 из четвёртого субтеста.
В сомнительных заданиях из второго субтеста визуальная информация о состоянии персонажей предельно многозначна, мимическая полностью отсутствует, так что практически нет возможности определить суть «загаданного» состояния. Вообще для многих испытуемых субъективно второй субтест оказывается наиболее сложным. Причина может крыться в том, что в нашей культуре за жестами и позами закреплён иной набор значений по сравнению с американской (или шире — западной). Поэтому часто трудно определить, что именно скрывает схематичное изображение пантомимики персонажей. В связи с этим ответы испытуемых оказываются в значительной степени случайными, что является причиной практически нулевой внутренней согласованности второго субтеста (α Кронбаха = 0,06).
В 4-м субтесте — «Истории с дополнением»— наибольшие сомнения вызвало задание № 8. Нам представляется, что верен ответ 3, что противоречит авторскому варианту — 1. Предложенная в руководстве последовательность картинок «Фердинанд отказывается от принесенного женой торта» и «Фердинанд удовлетворенно ест торт— кажется нелогичной, особенно по сравнению с наличествующим вариантом развития событий, когда за картинкой «Фердинанд благосклонно смотрит на вносимый женой тортследует «Фердинанд удовлетворенно ест торт». На примере этого случая хорошо видно, что задания первого и четвёртого субтестов, выполненные в стилистике комиксов, в большинстве своём кажутся юмористическими и могут настраивать испытуемого на поиск не самого логически подходящего, а самого смешного варианта ответа.
С точки зрения определения правильных ответов наименьшее количество вопросов вызвали задания третьего субтеста — «Вербальная экспрессия». Однако этот субтест, будучи вербальным, вызывает проблемы, связанные с не всегда удачным переводом. Для выбора правильного ответа необходимо тонко чувствовать оттенки значений высказываний, которые при переводе иногда теряются или смещаются. Возьмём, например, задание № 7. В нём предлагается выбрать ситуацию, которая переворачивает по смыслу высказывание официантки клиенту «Чем я могу Вам помочь?» Согласно руководству, смысл высказывания остаётся прежним в ситуациях «психиатр — пациенту» и «гид — туристу», но меняется в ситуации «прохожий — пострадавшему в аварии». Этот ответ действительно кажется правильным, если помнить, что высказывание «Чем я могу Вам помочь?» (Can I help you?) является в английском языке речевой формулой, выражающей готовность заняться клиентом, будь это посетитель ресторана, турист или пациент. Однако в русском языке это высказывание воспринимается содержательно, именно как выражение готовности помочь, что приводит к иным взаимодействиям его значения с социальными контекстами.
Общее впечатление от анализа валидности заданий по содержанию состоит в том, что многие из них являются культурноспецифичными и поэтому не должны без изменений переноситься в версию, предназначенную для другой культуры.
3. Для выявления факторной структуры полученных данных был проведён факторный анализ ответов испытуемых. Мы исходили из предположения, что эмпирически полученная факторная структура должна совпадать со структурой теста, т. е. первые выделившиеся факторы должны более или менее соответствовать субтестам с точки зрения входящих в них заданий. Если это предположение подтвердится, то можно говорить о высокой внутренней валидности методики.
При факторизации данных применялся метод главных компонент с прямоугольным и косоугольным вращением факторов по методам варимакс и облимин (параметр д задавался равным нулю) соответственно; проводилось вращение первых четырёх факторов. Полученные результаты приведены в таблицах 3 и 4.
Таблица 3 Результаты факторизации ответов испытуемых
Первые четыре фактора объясняют в сумме 20% дисперсии, что довольно мало. Прямоугольное и косоугольное вращение факторов дают практически идентичные результаты. Наибольшие нагрузки по первому и второму факторам имеют задания, входящие в третий субтест. По третьему фактору наибольшие нагрузки имеют некоторые задания, входящие в первый и четвёртый субтесты. Четвёртый фактор невозможно соотнести с каким"либо из субтестов. Таким образом, эмпирически полученная факторная структура мало соответствует структуре теста, что свидетельствует о его невысокой внутренней валидности.
Таблица 4 Факторные нагрузки после вращения факторов (приведены значения выше 0,3 по модулю)
Обобщая результаты проведённого анализа, можно утверждать, что психометрические свойства российской версии теста Гилфорда и О’Салливена не удовлетворительны. Внутренняя согласованность субтестов и композитной оценки низка, факторная структура теста не соответствует выделяемым субтестам. Содержательная валидность ряда заданий представляется сомнительной. С нашей точки зрения в настоящем виде российская адаптация теста Гилфорда и О’Салливена не обладает уровнем надёжности и валидности, достаточным для его использования хотя бы в исследовательских целях, не говоря уже о психодиагностических целях.
Следовательно, требуется работа по совершенствованию российской версии теста. Прежде всего необходимо переработать или Таблица 4 (окончание) вообще заменить некоторые задания, с тем чтобы повысить их адекватность российской культуре и измеряемым конструктам. Отдельная проблема заключается в определении правильных ответов на каждое задание. Одно из возможных решений этой проблемы состоит в привлечении к разработке заданий группы экспертов в области социальных взаимодействий, которые могли бы указать на наиболее приемлемые правильные ответы. Если даже допустить применение ныне существующей версии в исследовательских целях, необходимо внести в неё некоторые изменения. Самое очевидное из них состоит в исключении второго субтеста «Группы экспрессии», так как он обладает наименее удовлетворительными психометрическими свойствами.
В заключение хочется отметить, что ни один тест не может быть идеальным измерительным инструментом. Улучшение психометрических свойств психодиагностической методики требует большой, как правило, многолетней работы. Результаты проведённого анализа показывают, что такая работа должна проводиться и применительно к российской версии теста Дж. Гилфорда и М. О’Салливена. Такой вывод не умаляет важности появления этой методики на русском языке. Можно только приветствовать большую работу, проделанную автором российской версии, и надеяться, что дальнейшие усилия по её совершенствованию, а также по конструированию других методик на измерение социального интеллекта будут продолжены.
Литература Михайлова (Алешина) Е.С. Методика исследования социального интеллекта: Адаптация теста Дж. Гилфорда и М. Салливена: Руководство по использованию. СПб: ГП «ИМАТОН», 1996. Guilford J. P. The nature of human intelligence. New York: McGraw"Hill, 1967. O’Sullivan M., Guilford J. P. Six factors of behavioral cognition: Understanding other people // Journal of Educational Measurement, 1975, v. 67, 255–271. O’Sullivan M., Guilford J. P. Les tests d’intelligence sociale. Paris: Editions du Centre de psychologie appliquée, 1977.