Познакомившись с понятиями факторной нагрузки и области совместных изменений, можно пойти дальше, снова привлекая для изложения аппарат матриц, элементами которых на этот раз будут коэффициенты корреляции.

Матрица коэффициентов корреляции, полученных, как правило, экспериментальным путем, называется матрицей корреляции, или корреляционной матрицей.

Элементы этой матрицы являются коэффициентами корреляции между всеми переменными данной совокупности.

Если мы имеем, например, набор, состоящий из тестов, то число коэффициентов корреляции, полученных экспериментальным путем, составит

Эти коэффициенты заполняют половину матрицы, находящуюся по одну сторону ее главной диагонали. По другую сторону находятся, очевидно, те же коэффициенты, так как и т. д. Поэтому корреляционная матрица симметрична.

Схема 3.2. Полная матрица корреляции

На диагонали этой матрицы находятся единицы, поскольку корреляция каждой переменной с самой собой равна +1.

Матрица корреляции, у которой элементы главной диагонали равны 1, называется «полной матрицей» корреляции (схема 3.2) и обозначается

Необходимо отметить, что, помещая на главной диагонали единицы, или корреляции каждой переменной с самой собой, мы учитываем полную дисперсию каждой переменной, представленной в матрице. Тем самым принимается во внимание влияние не только общих, но и специфичных факторов.

Наоборот, если на главной диагонали корреляционной матрицы находятся элементы соответствующие общностям и относящиеся лишь к общей дисперсии переменных, то учитывается влияние только общих факторов, элиминируется влияние специфичных факторов и ошибок, т. е. отбрасываются специфичность и дисперсия ошибок.

Матрица корреляции, в которой элементы главной диагонали соответствуют общностям, называется редуцированной и обозначается R (схема 3.3).

Схема 3.3. Редуцированная матрица корреляции

Выше уже говорилось о факторной нагрузке, или наполнении данной переменной конкретным фактором. При этом подчеркивалось, что факторная нагрузка имеет вид коэффициента корреляции между данной переменной и данным фактором.

Матрица, столбцы которой состоят из нагрузок данного фактора применительно ко всем переменным данной совокупности, а строки - из факторных нагрузок данной переменной, называется матрицей факторов, или факторной матрицей. Здесь также можно говорить о полной и редуцированной факторной матрице. Элементы полной факторной матрицы соответствуют полной единичной дисперсии каждой переменной из данной совокупности. Если нагрузки на общие факторы обозначить через с, а нагрузки специфичных факторов - через и, то полную факторную матрицу можно представить в следующем виде:

Схема 3.4. Полная факторная матрица для четырех переменных

Показанная здесь факторная матрица состоит из двух частей Первая часть содержит элементы, относящиеся к четырем переменным и трем общим факторам, причем предполагается, что все они относятся ко всем переменным. Это не есть необходимое условие, так как некоторые элементы первой части матрицы могут быть равными нулю, а это значит, что некоторые факторы относятся не ко всем переменным. Элементы первой части матрицы - это нагрузки общих факторов (например, элемент показывает нагрузку второго общего фактора при первой переменной).

Во второй части матрицы мы видим 4 нагрузки характерных факторов, по одной в каждой строке, что соответствует их характерности. Каждый из этих факторов относится лишь к одной переменной. Все другие элементы этой части матрицы равны нулю. Характерные факторы можно, очевидно, разбить на специфичные и обусловленные ошибками.

Столбец факторной матрицы характеризует фактор и его влияние на все переменные. Строка характеризует переменную и, ее наполненность различными факторами, иначе говоря, факторную структуру переменной.

При анализе только первой части матрицы мы имеем дело с факторной матрицей, показывающей общую дисперсию каждой переменной. Эта часть матрицы называется редуцированной и обозначается F. Эта матрица не учитывает нагрузки характерных факторов и не принимает во внимание специфичной дисперсии. Напомним, что в соответствии со сказанным выше об общих дисперсиях и факторных нагрузках, представляющих собой квадратные корни из общих дисперсий, сумма квадратов элементов каждой строки редуцированной факторной матрицы F равна общности данной переменной

Соответственно сумма квадратов всех элементов строки полной матрицы факторов равна , или полной дисперсии данной переменной.

Так как в факторном анализе основное внимание уделяется общим факторам, то мы в дальнейшем будем использовать главным образом редуцированную корреляционную и редуцированную факторную матрицу.

Следующий пример основан на вымышленных данных, относящихся к изучению удовлетворенности жизнью. Предположим, что вопросник был направлен 100 случайно выбранным взрослым. Вопросник содержал 10 пунктов, предназначенных для определения удовлетворенности на работе, удовлетворенности своим хобби, удовлетворенностью домашней жизнью и общей удовлетворенностью в других областях жизни. Ответы на вопросы были введены в компьютер и промасштабированы таким образом, чтобы среднее для всех пунктов стало равным приблизительно 100.

Результаты были помещены в файл данных Factor.sta. Открыть этот файл можно с помощью опции Файл - Открыть; наиболее вероятно, что этот файл данных находится в директории /Examples/Datasets. Ниже приводится распечатка переменных этого файла (для получения списка выберите Все спецификации переменных в меню Данные).

Цель анализа . Целью анализа является изучение соотношений между удовлетворенностью в различных сферах деятельности. В частности, желательно изучить вопрос о числе факторов, "скрывающихся" за различными областями деятельности и их значимость.

Выбор анализа. Выберите Факторный анализ в меню Анализ - Многомерный разведочный анализ для отображения стартовой панели модуля Факторный анализ. Нажмите на кнопку Переменные на стартовой панели (см. ниже) и выберите все 10 переменных в этом файле.

Другие опции . Для выполнения стандартного факторного анализа в этом диалоговом окне имеется все необходимое. Для получения краткого обзора других команд, доступных из стартовой панели, вы можете выбрать в качестве входного файла корреляционную матрицу (используя поле Файл данных). В поле Удаление ПД вы можете выбрать построчное или попарное исключение или подстановка среднего для пропущенных данных.

Задайте метод выделения факторов. Нажмем теперь кнопку OK для перехода к следующему диалоговому окну с названием Задайте метод выделения факторов. С помощью этого окна диалога вы сможете просмотреть описательные статистики, выполнить множественный регрессионный анализ, выбрать метод выделения факторов, выбрать максимальное число факторов, минимальные собственные значения, а также другие действия, относящиеся к специфике методов выделения факторов. А теперь перейдем во вкладку Описательные.

Просмотр описательных статистик. Теперь нажмите на кнопку Просмотреть корр./средние/ст.откл. в этом окне для того, чтобы открыть окно Просмотр описательных статистик.

Теперь вы можете рассмотреть описательные статистики графически или с помощью таблиц результатов.

Вычисление корреляционной матрицы. Нажмите на кнопку Корреляции во вкладке Дополнительно для того, чтобы отобразить таблицу результатов с корреляциями.

Все корреляции в этой таблице результатов положительны, а некоторые корреляции имеют значительную величину. Например, переменные Hobby_1 и Miscel_1 коррелированны на уровне 0.90. Некоторые корреляции (например, корреляции между удовлетворенностью на работе и удовлетворенностью дома) кажутся сравнительно малыми. Это выглядит так, как будто матрица имеет некоторую отчетливую структуру.

Метод выделения. Теперь нажмем кнопку Отмена в диалоговом окне Просмотр описательных статистик для того, чтобы вернуться в диалоговое окно Задайте метод выделения факторов. Вы можете сделать выбор из нескольких методов выделения во вкладке Дополнительно (см. вкладку Дополнительно диалогового окна Задайте метод выделения факторов для описания каждого метода, а также Вводный обзор с описанием метода Главных компонент и метода Главных факторов). В этом примере по умолчанию принимается метод Главных компонент, поле Макс. число факторов содержит значение 10 (максимальное число факторов в этом примере) и поле Мин. собств. значение содержит 0 (минимальное значение для этой команды).

Для продолжения анализа нажмите кнопку OK.

Просмотр результатов. Вы можете просмотреть результаты факторного анализа в окне диалога Результаты факторного анализа. Сначала выберите вкладку Объясненная дисперсия.

Отображение собственных значений . Назначение собственных значений и их полезность для пользователя при принятии решения о том, сколько следует оставить факторов (интерпретировать) были описаны в Вводном обзоре. Теперь нажмем на кнопку Собственные значения, чтобы получить таблицу с собственными значениями, процентом общей дисперсии, накопленными собственными значениями и накопленными процентами.

Как видно из таблицы, собственное значение для первого фактора равно 6.118369; т.е. доля дисперсии, объясненная первым фактором равна приблизительно 61.2%. Заметим, что эти значения случайно оказались здесь легко сравнимыми, так как анализу подвергаются 10 переменных, и поэтому сумма всех собственных значений оказывается равной 10. Второй фактор включает в себя около 18% дисперсии. Остальные факторы содержат не более 5% общей дисперсии. Выбор числа факторов. В разделе Вводный обзор кратко описан способ, как полученные собственные значения можно использовать для решения вопроса о том, сколько факторов следует оставить в модели. В соответствии с критерием Кайзера (Kaiser, 1960), вы должны оставить факторы с собственными значениями большими 1. Из приведенной выше таблицы следует, что критерий приводит к выбору двух факторов.

Критерий каменистой осыпи . Теперь нажмите на кнопку График каменистой осыпи, чтобы получить график собственных значений с целью применения критерия осыпи Кэттеля (Cattell, 1966). График, представленный ниже, был дополнен отрезками, соединяющими соседние собственные значения, чтобы сделать критерий более наглядным. Кэттель (Cattell) утверждает, основываясь на методе Монте-Карло, что точка, где непрерывное падение собственных значений замедляется и после которой уровень остальных собственных значений отражает только случайный "шум". На графике, приведенном ниже, эта точка может соответствовать фактору 2 или 3 (как показано стрелками). Поэтому испытайте оба решения и посмотрите, которое из них дает более адекватную картину.

Теперь рассмотрим факторные нагрузки.

Факторные нагрузки . Как было описано в разделе Вводный обзор, факторные нагрузки можно интерпретировать как корреляции между факторами и переменными. Поэтому они представляют наиболее важную информацию, на которой основывается интерпретация факторов. Сначала посмотрим на (неповернутые) факторные нагрузки для всех десяти факторов. Во вкладке Нагрузки диалогового окна Результаты факторного анализа в поле Вращение факторов зададим значение без вращения и нажмем на кнопку Факторные нагрузки для отображения таблицы нагрузок.

Вспомним, что выделение факторов происходило таким образом, что последующие факторы включали в себя все меньшую и меньшую дисперсию (см. раздел Вводный обзор). Поэтому не удивительно, что первый фактор имеет наивысшую нагрузку. Отметим, что знаки факторных нагрузок имеют значение лишь для того, чтобы показать, что переменные с противоположными нагрузками на один и тот же фактор взаимодействуют с этим фактором противоположным образом. Однако вы можете умножить все нагрузки в столбце на -1 и обратить знаки. Во всем остальном результаты окажутся неизменными.

Вращение факторного решения. Как описано в разделе Вводный обзор, действительная ориентация факторов в факторном пространстве произвольна, и всякое вращение факторов воспроизводит корреляции так же хорошо, как и другие вращения. Следовательно, кажется естественным повернуть факторы таким образом, чтобы выбрать простейшую для интерпретации факторную структуру. Фактически, термин простая структура был придуман и определен Терстоуном (Thurstone, 1947) главным образом для описания условий, когда факторы отмечены высокими нагрузками на некоторые переменные и низкими - для других, а также когда имеются несколько больших перекрестных нагрузок, т.е. имеется несколько переменных с существенными нагрузками на более чем один фактор. Наиболее стандартными вычислительными методами вращения для получения простой структуры является метод вращения варимакс, предложенный Кайзером (Kaiser, 1958). Другими методами, предложенными Харманом (Harman, 1967), являются методы квартимакс, биквартимакс и эквимакс (см. Harman, 1967).

Выбор вращения . Сначала рассмотрим количество факторов, которое вы желаете оставить для вращения и интерпретации. Ранее было решено, что наиболее правдоподобным и приемлемым числом факторов является два, однако на основе критерия осыпи было решено учитывать также и решение с тремя факторами. Нажмите на кнопку Отмена для того, чтобы возвратиться в окно диалога Задайте метод выделения факторов, и измените поле Максимальное число факторов во вкладке Быстрый с 10 на 3, затем нажмите кнопку OK для того, чтобы продолжить анализ.

Теперь выполним вращение по методу варимакс. Во вкладке Нагрузки диалогового окна Результаты факторного анализа в поле Вращение факторов установите значение Варимакс исходных.

Нажмем кнопку Факторные нагрузки для отображения в таблице результатов получаемых факторных нагрузок.

Отображение решения при вращении трех факторов. В таблице приведены существенные нагрузки на первый фактор для всех переменных, кроме относящихся к дому. Фактор 2 имеет довольно значительные нагрузки для всех переменных, кроме переменных связанных с удовлетворенностью на работе. Фактор 3 имеет только одну значительную нагрузку для переменной Home_1. Тот факт, что на третий фактор оказывает высокую нагрузку только одна переменная, наводит на мысль, а не может ли получиться такой же хороший результат без третьего фактора?

Обозрение решения при вращении двух факторов . Снова нажмите на кнопку Отмена в окне диалога Результаты факторного анализа для того, чтобы возвратиться к диалоговому окну Задайте метод выделения факторов. Измените поле Максимальное число факторов во вкладке Быстрый с 3 до 2 и нажмите кнопку OK для того, чтобы перейти в диалоговое окно Результаты факторного анализа. Во вкладке Нагрузки в поле Вращение факторов установите значение Варимакс исходных и нажмите кнопку Факторные нагрузки.

Фактор 1, как видно из таблицы, имеет наивысшие нагрузки для переменных, относящихся к удовлетворенности работой. Наименьшие нагрузки он имеет для переменных, относящихся к удовлетворенности домом. Другие нагрузки принимают промежуточные значения. Фактор 2 имеет наивысшие нагрузки для переменных, связанных с удовлетворенностью дома, низшие нагрузки - для удовлетворенности на работе средние нагрузки для остальных переменных.

Интерпретация решения для двухфакторного вращения . Можно ли интерпретировать данную модель? Все выглядит так, как будто два фактора лучше всего идентифицировать как фактор удовлетворения работой (фактор 1) и как фактор удовлетворения домашней жизнью (фактор 2). Удовлетворение своим хобби и различными другими аспектами жизни кажется относящимися к обоим факторам. Эта модель предполагает в некотором смысле, что удовлетворенность работой и домашней жизнью согласно этой выборке могут быть независимыми друг от друга, но оба дают вклад в удовлетворение хобби и другими сторонами жизни.

Диаграмма решения, основанного на вращении двух факторов . Для получения диаграммы рассеяния двух факторов нажмите на кнопку 2М график нагрузок во вкладке Нагрузки диалогового окна Результаты факторного анализа. Диаграмма, показанная ниже, попросту показывает две нагрузки для каждой переменной. Заметим, что диаграмма рассеяния хорошо иллюстрирует два независимых фактора и 4 переменных (Hobby_1, Hobby_2, Miscel_1, Miscel_2) с перекрестными нагрузками.

Теперь посмотрим, насколько хорошо может быть воспроизведена наблюдаемая ковариационная матрица по двухфакторному решению.

Воспроизведенная и остаточная корреляционная матрица. Нажмите на кнопку Воспроизведенные и остаточные корреляции во вкладке Объясненная дисперсия, для того чтобы получить две таблицы с воспроизведенной корреляционной матрицей и матрицей остаточных корреляций (наблюдаемых минус воспроизведенных корреляций).

Входы в таблице Остаточных корреляций могут быть интерпретированы как "сумма" корреляций, за которые не могут отвечать два полученных фактора. Конечно, диагональные элементы матрицы содержат стандартное отклонение, за которое не могут быть ответственны эти факторы и которые равны квадратному корню из единица минус соответствующие общности для двух факторов (вспомним, что общностью переменной является дисперсия, которая может быть объяснена выбранным числом факторов). Если вы тщательно рассмотрите эту матрицу, то сможете увидеть, что здесь фактически не имеется остаточных корреляций, больших 0.1 или меньшие -0.1 (в действительности только малое количество из них близко к этой величине). Добавим к этому, что первые два фактора включают около 79% общей дисперсии (см. накопленный % собственных значений в таблице результатов).

"Секрет" удачного примера . Пример, который вы только что изучили, на самом деле дает решение двухфакторной задачи, близкое к идеальному. Оно определяет большую часть дисперсии, имеет разумную интерпретацию и воспроизводит корреляционную матрицу с умеренными отклонениями (остаточными корреляциями). На самом деле реальные данные редко позволяют получить такое простое решение, и в действительности это фиктивное множество данных было получено с помощью генератора случайных чисел с нормальным распределением, доступного в системе. Специальным образом в данные были "введены" два ортогональных (независимых) фактора, по которым были сгенерированы корреляции между переменными. Этот пример факторного анализа воспроизводит два фактора такими, как они и были, (т.е. фактор удовлетворенности работой и фактор удовлетворенности домашней жизнью). Таким образом, если бы явление (а не искусственные, как в примере, данные) содержало эти два фактора, то вы, выделив их, могли бы кое-что узнать о скрытой или латентной структуре явления.

Другие результаты . Прежде, чем сделать окончательное заключение, дадим краткие комментарии к другим результатам.

Общности . Для получения общностей решения нажмите на кнопку Общности во вкладке Объясненная дисперсия диалогового окна Результаты факторного анализа. Вспомним, что общность переменной - это доля дисперсии, которая может быть воспроизведена при заданном числе факторов. Вращение факторного пространства не влияет на величину общности. Очень низкие общности для одной или двух переменных (из многих в анализе) могут указывать на то, что эти переменные не очень хорошо объяснены моделью.

Коэффициенты значений. Коэффициенты факторов могут быть использованы для вычисления значений факторов для каждого наблюдения. Сами коэффициенты представляет обычно малый интерес, однако факторные значения полезны при проведении дальнейшего анализа. Для отображения коэффициентов нажмите кнопку Коэффициенты значений факторов во вкладке Значения диалогового окна Результаты факторного анализа.

Значения факторов. Факторные значения могут рассматриваться как текущие значения для каждого опрашиваемого респондента (т.е. для каждого наблюдения исходной таблицы данных). Кнопка Значения факторов во вкладке Значения диалогового окна Результаты факторного анализа позволяет вычислить факторные значения. Эти значения можно сохранить для дальнейшего нажатием кнопки Сохранить значения.

Заключительный комментарий. Факторный анализ - это непростая процедура. Всякий, кто постоянно использует факторный анализ со многими (например, 50 или более) переменными, мог видеть множество примеров "патологического поведения", таких, как: отрицательные собственные значения и не интерпретируемые решения, особые матрицы и т.д. Если вы интересуетесь применением факторного анализа для определения или значащих факторов при большом числе переменных, вам следует тщательно изучить какое-либо подробное руководство (например, книгу Хармана (Harman, 1968)). Таким образом, так как многие критические решения в факторном анализе по своей природе субъективны (число факторов, метод вращения, интерпретация нагрузок), будьте готовы к тому, что требуется некоторый опыт, прежде чем вы почувствуете себя уверенным в нем. Модуль Факторный анализ был разработан специально для того, чтобы сделать легким для пользователя интерактивное переключение между различным числом факторов, вращениями и т.д., так чтобы испытать и сравнить различные решения.

Этот пример взят из справочной системы ППП STATISTICA фирмы StatSoft

Как видно из корреляционной матрицы переменные, относящиеся к удовлетворенности на работе, более коррелированы между собой, и переменные, относящиеся к удовлетворенности домом, также более коррелированы между собой. Корреляции между этими двумя типами переменных (переменные, связанные с удовлетворенностью на работе, и переменные, связанные с удовлетворенностью домом) сравнительно малы. Поэтому кажется правдоподобным, что имеются два относительно независимых фактора (два типа факторов), отраженных в корреляционной матрице: один относится к удовлетворенности на работе, а другой к удовлетворенности домашней жизнью.

Факторные нагрузки

Второй этап факторного анализа - первоначальное выделение факторов либо методом главных компонент, либо методом главных факторов. Результатом для нашего примера является решение с двумя факторами. Рассмотрим корреляции между переменными и двумя факторами (или "новыми" переменными). Эти корреляции называются факторными .

Таблица 3. 16

Таблица факторных нагрузок (метод главных компонент)

Как видно из таблицы 3.16 первый фактор более коррелирует с переменными, чем второй (поскольку значения весовых нагрузок по каждой переменной первого фактора больше, чем второго). Это очевидно, потому что, как было сказано выше, факторы выделяются последовательно и содержат все меньше и меньше общей дисперсии (см. раздел Собственные значения и число выделяемых факторов , стр. 61).

Методы вращения факторов

Третий этап факторного анализа – вращение факторных нагрузок, являющихся результатом предыдущего этапа. Типичными методами вращения являются стратегии варимакс , квартимакс , и эквимакс . Целью этих методов является получение понятной (интерпретируемой) матрицы нагрузок, то есть факторов, которые четко отмечены высокими нагрузками (например, больше 0.7) для некоторых переменных и низкими – для других. Эту общую модель иногда называют простой структурой .

Идея вращения по методу варимакс была описана выше (см. раздел Метод главных компонент , стр. 60). Этот метод можно также применить и к рассматриваемому примеру. Как и ранее, наша задача – найти вращение, максимизирующее дисперсию по новым осям; или, другими словами, – получить матрицу нагрузок на каждый фактор таким образом, чтобы они отличались максимально, и имелась возможность их простой интерпретации. Ниже приведена таблица нагрузок на повернутые факторы.

Таблица 3. 17

Таблица факторных нагрузок (вращение – варимакс)

Как видно из таблицы 3.17, первый фактор отмечен высокими нагрузками на переменные, связанные с удовлетворенностью на работе, а второй фактор – с удовлетворенностью домом. Из этого можно заключить, что удовлетворенность, измеренная с помощью опросника, составлена из двух частей: удовлетворенность домом и работой. Таким образом, произведена классификация изучаемых переменных. На основе полученной классификации первый фактор можно назвать фактором удовлетворенности работой (или фактором социальных ценностей) и, соответственно, второй - фактором удовлетворенности домом (или фактором личностных ценностей).

Интерпретация результатов факторного анализа

Заключительным этапом факторного анализа является содержательная интерпретация факторов, полученных в результате вращения. Здесь от исследователя требуется хорошая теоретическая подготовка и знание экспериментальных результатов, уже накопленных в данной области исследования.

Практически интерпретация факторов заключается в выделении значимых факторных весов (референтных переменных) по каждому из факторов. Точных критериев, позволяющих дифференцировать значимые факторные веса (нагрузки) и незначимые, не существует. Например, в случае больших выборок (несколько сот человек и более) значимыми иногда полагают нагрузки от 0.3 и выше. При уменьшении выборки до нескольких десятков человек в качестве значимых используются веса порядка 0.4–0.5.

Интерпретация факторов не всегда протекает гладко; в некоторых случаях она бывает только предположительной (например, в случае использования данных, отвечающих различным типам шкал), а иногда авторы вовсе отказываются от нее, поскольку фактор включает тесты, в которых трудно усмотреть что-либо общее.

В идеальном варианте (распределение переменных не отличается от нормального) интерпретацию результатов факторного анализа можно начать с анализа корреляционной матрицы, затем перейти к факторным нагрузкам (выделению референтных переменных). Следующий шаг – сопоставление результатов корреляционной матрицы и выделенных факторов, содержащих значимые веса. И, наконец, последний этап – анализ полученных общностей содержания и природы тех изучаемых переменных (признаков), которые имеют наиболее высокую корреляцию с данным фактором. Называние факторов осуществляется с учетом тех референтных переменных, которые получили максимальные значения весов и имеют наиболее высокую корреляцию с фактором. Например, если тесты, оценивающие способность запечатления несмыслового материала, обладают высокими весовыми нагрузками по данному фактору, то последний может быть назван как фактор «механического запоминания».

ЭТАПЫ ВЫПОЛНЕНИЯ ФАКТОРНОГО АНАЛИЗА

Можно выделить девять этапов факторного анализа. Для наглядности представим эти этапы на схеме, а затем дадим им краткую характеристику.

Этапы выполнения факторного анализа приведены на рис.

Рис.

ФОРМУЛИРОВКА ПРОБЛЕМЫ И ПОСТРОЕНИЕ КОРРЕЛЯЦИОННОЙ МАТРИЦЫ

Формулировка проблемы. Необходимо четко определить цели факторного анализа. Переменные, подвергаемые факторному анализу, задаются исходя из прошлых исследований, теоретических выкладок либо по усмотрению исследователя. Необходимо, чтобы переменные измерялись в интервальной или относительной шкале. Опыт показывает, что объем выборки должен быть больше в четыре - пять раз, чем число переменных.

Построение корреляционной матрицы. В основе анализа лежит матрица корреляции между переменными. Целесообразность выполнения факторного анализа определяется наличием корреляций между переменными. Если же корреляции между всеми переменными небольшие, то факторный анализ проводить бесполезно. Переменные, тесно взаимосвязанные между собой, как правило, тесно коррелируют с одним и тем же фактором или факторами.

Для проверки целесообразности использования факторной модели существует несколько статистик. С помощью критерия сферичности Бартлетта проверяется нулевая гипотеза об отсутствии корреляции между переменными в генеральной совокупности. Это значит, что рассматривается утверждение о том, что корреляционная матрица совокупности - это единичная матрица, в которой все диагональные элементы равны единице, а все остальные равны нулю. Проверка с помощью критерия сферичности основана на преобразовании детерминанта корреляционной матрицы в статистику хи-квадрат. При большом значении статистики нулевую гипотезу отклоняют. Если же нулевую гипотезу не отклоняют, то выполнение факторного анализа нецелесообразно. Другая полезная статистика - критерий адекватности выборки Кайзера-Мейера-Олкина (КМО). Данный коэффициент сравнивает значения наблюдаемых коэффициентов корреляции со значениями частных коэффициентов корреляции. Небольшие значения КМО - статистики указывают на то, что корреляции между парами переменных нельзя объяснить другими переменными, а это значит, что использование факторного анализа нецелесообразно.

Представляют собой совокупность статистических процедур, направленных на выделение из заданного множества переменных подмножеств переменных, тесно связанных (коррелирующих) между собой. Переменные, входящие в одно подмножество и коррелирующие между собой, но в значительной степени независимые от переменных из других подмножеств, образуют факторы. Цель факторного анализа - идентифицировать явно не наблюдаемые факторы с помощью множества наблюдаемых переменных. Дополнительным способом проверки числа выделенных факторов является вычисление корреляционной матрицы, которая близка исходной, если факторы выделены правильно. Эта матрица называется воспроизведенной корреляционной матрицей. Для того чтобы увидеть, как эта матрица отклоняется от исходной корреляционной матрицы (с которой начинался анализ), можно вычислить разность между ними. Остаточная матрица может указать на "несогласие", т. е. на то, что рассматриваемые коэффициенты корреляции не могут быть получены с достаточной точностью на основе имеющихся факторов. В методах главных компонент и факторного анализа не существует такого внешнего критерия, позволяющего судить о правильности решения. Вторая проблема заключается в том, что после выделения факторов возникает бесконечное множество вариантов вращения, базирующихся на тех же исходных переменных, но дающих разные решения (факторные структуры определяются несколько иным образом). Окончательный выбор между возможными альтернативами внутри бесконечного множества математически равнозначных решений зависит от содержательного осмысления исследователями результатов интерпретации. А поскольку объективного критерия для оценки различных решений нет, предлагаемые обоснования выбора решения могут казаться голословными и неубедительными.

Надо отметить, что четких статистических критериев полноты факторизации не существует. Тем не менее, низкие ее значения, например меньше 0,7, свидетельствуют о желательности сокращения количества признаков или увеличения количества факторов.

Мет Коэффициент взаимосвязи между некоторым признаком и общим фактором, выражающий меру влияния фактора на признак, называется факторной нагрузкой данного признака по данному общему фактору.

Матрица, состоящая из факторных нагрузок и имеющая число столбцов, равное числу общих факторов, и число строк, равное числу исходных признаков, называется факторной матрицей.

Основой для вычисления факторной матрицы является матрица парных коэффициентов корреляции исходных признаков.

Корреляционная матрица фиксирует степень взаимосвязи между каждой парой признаков. Аналогично факторная матрица фиксирует степень линейной связи каждого признака с каждым общим фактором.

Величина факторной нагрузки не превышает по модулю единицы, а знак ее говорит о положительной или отрицательной связи признака с фактором.

Чем больше абсолютная величина факторной нагрузки признака по некоторому фактору, тем в большей степени этот фактор определяет данный признак.

Значение факторной нагрузки по некоторому фактору, близкое к нулю, говорит о том, что этот фактор практически на данный признак не влияет.

Факторная модель дает возможность вычислять вклады факторов в общую дисперсию всех признаков. Суммируя квадраты факторных нагрузок для каждого фактора по всем признакам, получаем его вклад в общую дисперсию системы признаков: чем выше доля этого вклада, тем более значимым, существенным является данный фактор.

При этом можно выявить и оптимальное количество общих факторов, достаточно хорошо описывающих систему исходных признаков.

Значение (мера проявления) фактора у отдельного объекта называется факторным весом объекта по данному фактору. Факторные веса позволяют ранжировать, упорядочить объекты по каждому фактору.

Чем больше факторный вес некоторого объекта, тем больше в нем проявляется та сторона явления или та закономерность, которая отражается данным фактором.

Факторные веса могут быть как положительными, так и отрицательными.

В силу того, что факторы являются стандартизованными величинами со средним значением, равным нулю, факторные веса, близкие к нулю, говорят о средней степени проявления фактора, положительные – о том, что эта степень выше средней, отрицательные – о том. ч то она ниже средней.

Практически, если число уже найденных главных компонент (или факторов) не больше, чем m /2, объясняемая ими дисперсия не менее 70%, а следующая компонента дает вклад в суммарную дисперсию не более 5%, факторная модель считается достаточно хорошей.

Если Вы хотите найти значения факторов и сохранить их в виде дополнительных переменных задействуйте выключатель Scores... (Значения) Факторное значение, как правило, лежит в пределах -3 до +3.

Факторный анализ - более мощный и сложный аппарат, чем метод главных

компонент, поэтому он применяется в том случае, если результаты

компонентного анализа не вполне устраивают. Но поскольку эти два метода

решают одинаковые задачи, необходимо сравнить результаты компонентного и

факторного анализов, т. е. матрицы нагрузок, а также уравнения регрессии на

главные компоненты и общие факторы, прокомментировать сходство и различия

результатов.

Максимально возможное количество факторов m при заданном числе признаков р определяется неравенством

(р+m)<(р-m)2,

В завершение всей процедуры факторного анализа с помощью математических преобразований выражают факторы fj через исходные признаки, то есть получают в явном виде параметры линейной диагностической модели.

Методы главных компонент и факторного анализа представляют собой совокупность статистических процедур, направленных на выделение из заданного множества переменных подмножеств переменных, тесно связанных (коррелирующих) между собой. Переменные, входящие в одно подмножество и коррелирующие между собой, но в значительной степени независимые от переменных из других подмножеств, образуют факторы1 . Цель факторного анализа - идентифицировать явно не наблюдаемые факторы с помощью множества наблюдаемых переменных.

Общее выражение для j -го фактора может быть записано так:

где Fj (j изменяется от 1 до k ) - это общие факторы, Ui - характерный, Aij - константы, используемые в линейной комбинации k факторов. Характерные факторы могут не коррелировать друг с другом и с общими факторами.

Процедуры факторно-аналитической обработки, применяемые к полученным данным, различны, но структура (алгоритм) анализа состоит из одних и тех же основных этапов: 1. Подготовка исходной матрицы данных. 2. Вычисление матрицы взаимосвязей признаков. 3. Факторизация (при этом необходимо указать количество факторов, выделяемых в ходе факторного решения, и метод вычисления). На этом этапе (как и на следующем) можно также оценить, насколько хорошо полученное факторное решение сближает исходные данные. 4. Вращение - преобразование факторов, облегчающее их интерпретацию. 5. Подсчет факторных значений по каждому фактору для каждого наблюдения. 6. Интерпретация данных .

изобретение факторного анализа было связано именно с необходимостью одновременного анализа большого количества коэффициентов корреляции различных шкал между собой. Одна из проблем, связанных с методами главных компонент и факторного анализа заключается в том, что критериев, которые позволяли бы проверить правильность найденного решения, не существует. Например, при регрессионном анализе можно сопоставить показатели по зависимым переменным, полученные эмпирическим путем, с показателями, вычисленными теоретически на основе предлагаемой модели, и использовать корреляцию между ними как критерий правильности решения по схеме корреляционного анализа для двух наборов переменных. В дискриминантном анализе правильность решения базируется на том, насколько точно предсказана принадлежность испытуемых к тем или иным классам (если сравнивать с реальной принадлежностью, имеющей место в жизни). К сожалению, в методах главных компонент и факторного анализа не существует такого внешнего критерия, позволяющего судить о правильности решения, Вторая проблема заключается в том, что после выделения факторов возникает бесконечное множество вариантов вращения, базирующихся на тех же исходных переменных, но дающих разные решения (факторные структуры определяются несколько иным образом). Окончательный выбор между возможными альтернативами внутри бесконечного множества математически равнозначных решений зависит от содержательного осмысления исследователями результатов интерпретации. А поскольку объективного критерия для оценки различных решений нет, предлагаемые обоснования выбора решения могут казаться голословными и неубедительными.

Третья проблема заключается в том, что факторный анализ довольно часто применяют с целью спасти плохо продуманное исследование, когда становится ясно, что ни одна статистическая процедура не дает желаемого результата. Мощь методов главных компонент и факторного анализа позволяет из хаотичной информации выстроить упорядоченную концепцию (что и создает им сомнительную репутацию).

Вторая группа терминов относится к матрицам, которые строятся и интерпретируются как часть решения. Поворот факторов - это процесс поиска наиболее легко интерпретируемого решения для данного количества факторов. Существуют два основных класса поворотов: ортогональный и косоугольный . В первом случае все факторы априорно выбираются ортогональными (не коррелирующими друг с другом) и строится матрица факторных нагрузок , представляющая собой матрицу взаимосвязей между наблюдаемыми переменными и факторами. Величина нагрузок отражает степень связи каждой наблюдаемой переменной и каждым фактором и интерпретируется как коэффициент корреляции между наблюдаемой переменной и фактором (латентной переменной), а потому изменяется в пределах от -1 до 1. Решение, полученное после ортогонального поворота, интерпретируется на основе анализа матрицы факторных нагрузок путем выявления того, с каким из факторов в максимальной степени связана та или иная наблюдаемая переменная. Таким образом, каждый фактор оказывается заданным группой первичных переменных, имеющих по нему наибольшие факторные нагрузки.

Если выполняется косоугольное вращение (т. е. априорно допускается возможность корреляции факторов между собой), то строится еще несколько дополнительных матриц. Матрица факторной корреляции содержит корреляции между факторами. Матрица факторных нагрузок , упомянутая выше, расщепляется на две: структурную матрицу взаимосвязей между факторами и переменными и матрицу факторного отображения , выражающую линейные взаимосвязи между каждой наблюдаемой переменной и каждым фактором (без учета влияния наложения одних факторов на другие, выражаемого корреляцией факторов между собой). После косоугольного вращения интерпретация факторов происходит на основе группировки первичных переменных (подобно тому, как было описано выше), но уже с использованием в первую очередь матрицы факторного отображения.

Наконец, для обоих поворотов вычисляется матрица коэффициентов факторных значений , используемая в специальных уравнениях регрессионного типа для вычисления факторных значений (факторных баллов, показателей по факторам) для каждого наблюдения на основе значений для них первичных переменных.

Сравнивая методы главных компонент и факторного анализа, отметим следующее. В ходе выполнения анализа по методу главных компонент строится модель для наилучшего объяснения (максимального воспроизведения) полной дисперсии экспериментальных данных, полученных по всем переменным. В результате выделяются «компоненты». При факторном анализе предполагается, что каждая переменная объясняется (детерминируется) некоторым количеством гипотетических общих факторов (влияющих на все переменные) и характерными факторами (для каждой переменной своими). И вычислительные процедуры выполняются таким образом, чтобы освободиться как от дисперсии, полученной в результате ошибки измерения, так и от дисперсии, объясняемой специфичными факторами, и анализировать только дисперсии, объясняемые гипотетически существующими общими факторами. В результате получаются объекты, называемые факторами. Однако, как уже упоминалось, с содержательно-психологической точки зрения эта разница в математических моделях существенного значения не имеет, поэтому в дальнейшем, если не дается особых пояснений, о каком именно случае идет речь, мы будем использовать термин «фактор» как по отношению к компонентам, так и по отношению к факторам.

Размеры выборки и пропущенные данные. Чем больше выборка, тем больше достоверность показателей взаимосвязи. Поэтому очень важно иметь достаточно большую выборку. Требуемый размер выборки также зависит от степени взаимосвязи показателей в популяции в целом и количества факторов: при сильной и достоверной взаимосвязи и небольшом количестве четко очерченных факторов будет достаточно и не очень большой выборки.

Так, выборка, размер которой 50 испытуемых, оценивается как очень плохая, 100 - плохая, 200 - средняя, 300 - хорошая, 500 - очень хорошая и 1000 - превосходная (Comrey, Lee , 1992). Исходя из этих соображений, в качестве общего принципа можно порекомендовать исследовать выборки не менее 300 испытуемых. Для решения, базирующегося на достаточном количестве маркерных переменных с высокими факторными нагрузками (>0.80) достаточно выборки порядка 150 испытуемых (Guadagnoli, Velicer , 1988). нормальность для каждой переменной в отдельности проверяется по асимметрии (насколько кривая изучаемого распределения сдвинута вправо или влево по сравнению с теоретически нормальной кривой) и эксцессу (степень вытянутости вверх или прогнутости вниз «колокола» имеющегося распределения, визуально представленного в частотной диаграмме, в сравнении с «колоколом» графика плотности, характерным для нормального распределения). Если переменная имеет существенные асимметрию и эксцесс, то ее можно преобразовать, введя новую переменную (как однозначную функцию от рассматриваемой) таким образом, чтобы эта новая переменная была распределена нормально (подробнее об этом см.: Tabachnik, Fidell , 1996, гл. 4).

Собственные векторы и соответствующие собственные числа
для рассматриваемого учебного примера

Поскольку корреляционная матрица диагонализируема, то для получения результатов факторного анализа к ней можно применять матричную алгебру собственных векторов и собственных величин (см. Приложение 1). Если матрица диагонализируема, то вся существенная информация о факторной структуре содержится в ее диагональной форме. В факторном анализе собственные числа соответствуют дисперсии, объясняемой факторами. Фактор с наибольшей собственной величиной объясняет наибольшую дисперсию и т. д., пока не доходит до факторов с небольшими или отрицательными собственными величинами, которые обычно не учитываются при анализе. Матрица факторных нагрузок является матрицей взаимосвязей (интерпретируемых как коэффициенты корреляций) между факторами и переменными. Первый столбец - это корреляции между первым фактором и каждой переменной по очереди: стоимость путевки (-.400), комфортабельность комплекса (.251), температура воздуха (.932), температура воды (.956). Второй столбец - это корреляции между вторым фактором и каждой переменной: стоимость путевки (.900), комфортабельность комплекса (-.947), температура воздуха (.348), температура воды (.286). Фактор интерпретируется на основе сильно связанных с ним (т. е. имеющих по нему высокие нагрузки) переменных. Так, первый фактор главным образом «климатический» (температура воздуха и воды ), в то время как второй «экономический» (стоимость путевки и комфортабельность комплекса ).

Интерпретируя эти факторы, следует обратить внимание на то, что переменные, имеющие высокие нагрузки по первому фактору (температура воздуха и температура воды ), взаимосвязаны положительно, тогда как переменные, имеющие высокие нагрузки по второму фактору (стоимость путевки и комфортабельность комплекса ), взаимосвязаны отрицательно (от дешевого курорта нельзя ожидать большой комфортабельности). Первый фактор называется униполярным (все переменные сгруппированы на одном полюсе), а второй - биполярным (переменные распались на две противоположные по смыслу группы - два полюса). Переменные, имеющие факторные нагрузки со знаком «плюс», образуют положительный полюс, а со знаком «минус» - отрицательный. При этом названия полюсов «положительный» и «отрицательный» при интерпретации фактора не имеют оценочного смысла «плохой» и «хороший». Выбор знака происходит во время вычислений случайным образом. Ортогональное вращение

Вращение обычно применяется после выделения факторов для максимизации высоких корреляций и минимизации низких. Существуют многочисленные методы вращения, но чаще всего используется поворот варимакс , представляющий собой процедуру максимизации дисперсий. Этот поворот максимизирует дисперсии факторных нагрузок, делая высокие нагрузки выше, а низкие ниже для каждого из факторов. Эта цель достигается с помощью матрицы преобразования Λ:

Матрица преобразования - это матрица синусов и косинусов угла Ψ, на который выполняется поворот. (Отсюда и название преобразования - поворот , потому что с геометрической точки зрения происходит поворот осей вокруг начала координат факторного пространства.) Выполнив поворот и получив матрицу факторных нагрузок после поворота, можно проанализировать серию других показателей (см. табл. 4). Общность переменной - это дисперсия, рассчитанная с помощью факторных нагрузок. Это квадратичная множественная корреляция переменной, предсказанная факторной моделью. Общность вычисляется как сумма квадратов факторных нагрузок (СКН) для переменной по всем факторам. В табл. 4 общность для стоимости путевки равна (-.086)2+(.981)2 = .970, т. е. 97% дисперсии стоимости путевки объясняется факторами 1 и 2.

Доля дисперсии фактора по всем переменным - это СКН по фактору, деленная на количество переменных (в случае ортогонального вращения)7 . Для первого фактора доля дисперсии равна:

[(-.086)2+(-.071)2+(.994)2+(.997)2]/4 = 1.994/4 = .50,

т. е. первый фактор объясняет 50% дисперсии переменных. Второй фактор объясняет 48% дисперсии переменных и (в силу ортогональности вращения) два фактора в сумме объясняют 98% дисперсии переменных.

Связь между факторными нагрузками, общностями, СКН,
дисперсией и ковариацией ортогональных факторов после поворота

Доля дисперсии решения, объясняемая фактором, - доля ковариации - это СКН для фактора, деленная на сумму общностей (сумму СКН по переменным). Первый фактор объясняет 51% дисперсии решения (1.994/3.915); второй - 49% (1.919/3.915); два фактора вместе объясняют всю ковариацию.

Eigenval – отражают величину дисперсии соответствующего количества факторов. В качестве упражнения рекомендуем выписать все эти формулы для получения расчетных значений по переменным. Например, для первого респондента:

1.23 = -.086(1.12) + .981(-1.16)

1.05 = -.072(1.12) - .978(-1.16)

1.08 = .994(1.12) + .027(-1.16)

1.16 = .997(1.12) - .040(-1.16)

Или в алгебраической форме:

Z стоимости путевки = a 11F 1 + a 12F 2

Z комфортабельности комплекса = a 2lF 1 + a 22F 2

Z температуры воздуха = a 31F 1 + a 32F 2

Z температуры воды = a 41F 1 + a 42F 2

Чем больше нагрузка, тем с большей уверенностью можно считать, что переменная определяет фактор. Комри и Ли (Comrey, Lee , 1992) предполагают, что нагрузки, превышающие 0.71 (объясняет 50% дисперсии), - превосходные, 0% дисперсии) - очень хорошие, 0%) - хорошие, 0%) - удовлетворительные и 0.32 (объясняет 10% дисперсии) - слабые.

Предположим, что вы проводите (до некоторой степени "глупое") исследование, в котором измеряете рост ста людей в дюймах и сантиметрах. Таким образом, у вас имеются две переменные. Если далее вы захотите исследовать, например, влияние различных пищевых добавок на рост, будете ли вы продолжать использовать обе переменные? Вероятно, нет, т. к. рост является одной характеристикой человека, независимо от того, в каких единицах он измеряется.

Зависимость между переменными можно обнаружить с помощью диаграммы рассеяния . Полученная путем подгонки линия регрессии дает графическое представление зависимости. Если определить новую переменную на основе линии регрессии, изображенной на этой диаграмме, то такая переменная будет включить в себя наиболее существенные черты обеих переменных. Итак, фактически, вы сократили число переменных и заменили две одной. Отметим, что новый фактор (переменная) в действительности является линейной комбинацией двух исходных переменных.