Analiza czynnikowa

Analiza czynnikowa – metoda statystyczna, której celem jest opisanie zależności między zaobserwowanymi, skorelowanymi zmiennymi przy pomocy możliwie mniejszej liczby zmiennych nieobserwowanych nazywanych czynnikami bądź faktorami, które są wzajemnie nieskorelowane. Prekursorem analizy czynnikowej był Charles Spearman. Jedną z kluczowych postaci, które przyczyniły się do powstania tej procedury, był Henry Felix Kaiser.

Zmienne obserwowane są następnie modelowane jako suma odpowiednich kombinacji liniowych nowych zmiennych nieobserwowanych oraz błędu pomiaru (zob. biały szum).

Analiza czynnikowa jest powszechnie używana w biologii, psychologii (przy analizie struktury zjawisk badanych przez narzędzia kwestionariuszowe), marketingu, teorii decyzji oraz innych dziedzinach wiedzy.

Model statystyczny

Niech dany będzie zbiór ${\displaystyle p}$ zaobserwowanych zmiennych losowych ${\displaystyle x_{1},\dots ,x_{p}}$ o średnich ${\displaystyle \mu _{1},\dots ,\mu _{p},}$ odpowiednio. Załóżmy, że dla pewnych (nieznanych) stałych ${\displaystyle l_{ij}}$ oraz ${\displaystyle k}$ zmiennych ${\displaystyle F_{j}}$ (tzw. czynników czy faktorów), gdzie ${\displaystyle i\in \{1,\dots ,p\}}$ i ${\displaystyle j\in \{1,\dots ,k\},}$ mamy związek

${\displaystyle x_{i}-\mu _{i}=l_{i1}F_{1}+\ldots +l_{ik}F_{k}+\varepsilon _{i}.}$

przy czym zmienne ${\displaystyle \varepsilon _{i}}$ są interpretowane jako błędy będące zmiennymi o zerowej wartości oczekiwanej i skończonej wariancji. Powyższy związek można zapisać macierzowo jako

${\displaystyle x-\mu =LF+\varepsilon .}$

Mając ${\displaystyle n}$ obserwacji, powyżej ${\displaystyle x}$ jest macierzą ${\displaystyle p\times n,}$ ${\displaystyle L}$ jest macierzą ${\displaystyle p\times k}$ natomiast ${\displaystyle F}$ jest macierzą ${\displaystyle k\times n.}$ Każda kolumna macierzy ${\displaystyle x}$ i ${\displaystyle F}$ oznacza wartości odpowiadające obserwacjom natomiast macierz ${\displaystyle L}$ nie zależy od obserwacji.

Ponadto, o macierzy losowej ${\displaystyle F}$ zakłada się, że:

1. jest ona niezależna od ${\displaystyle \varepsilon ,}$
2. ${\displaystyle \mathrm {E} (F)=0,}$
3. ${\displaystyle \mathrm {cov} (F)=I}$ jest macierzą identyczności, co oznacza, że faktory są parami nieskorelowane.

Celem analizy czynnikowej jest wyznaczanie par macierzy ${\displaystyle F}$ i ${\displaystyle L,}$ które spełniają powyższe równania i warunki.

Oznaczając

${\displaystyle \mathrm {cov} (x-\mu )=\Sigma ,}$

można zapisać:

${\displaystyle \mathrm {cov} (x-\mu )=\mathrm {cov} (LF+\varepsilon ),}$

bądź równoważnie

${\displaystyle \Sigma =L\cdot \mathrm {cov} (F)\cdot L^{T}+\mathrm {cov} (\varepsilon ).}$

Niejednoznaczność rozwiązań

Dla każdej macierzy ortogonalnej ${\displaystyle Q}$ stopnia ${\displaystyle p,}$ kładąc ${\displaystyle L'=LQ}$ oraz ${\displaystyle F'=Q^{T}F,}$ tak zdefiniowane macierze spełniają powyższe warunki, o ile tylko ${\displaystyle F}$ i ${\displaystyle L}$ je spełniają, tzn. zbiór rozwiązań problemu jest niejednoznaczny oraz niezmienniczy ze względu na przekształcenia ortogonalne.

Podejścia

W analizie czynnikowej istnieją dwa podejścia:

• eksploracyjna analiza czynnikowa (EFA, od ang. exploratory factor analysis) – czynniki są początkowo nieznane i zostają wyodrębnione dzięki analizie wartości zmiennych losowych,
• konfirmacyjna analiza czynnikowa (CFA, od ang. confirmatory factor analysis) – zakładamy istnienie pewnego określonego zbioru czynników i dzięki analizie wartości zmiennych losowych badamy zasadność naszego przypuszczenia i estymujemy parametry naszego modelu (modelowanie równań strukturalnych).

Jest wiele metod analizy czynnikowej, jednak najbardziej popularne są dwie:

• analiza głównych składowych (PCA, od ang. principal component analysis),
• analiza czynników głównych (PFA, od ang. principal factor analysis).

Niezależnie od metody, rozpoczynamy od budowy macierzy korelacji i sprawdzenia, czy możliwe jest zastosowanie analizy czynnikowej.

Bibliografia

• Harry H. Harman, Modern Factor Analysis. 3rd Edition, The University of Chicago Press, Chicago 1976.