W Pythonie, w jaki sposób mogę obliczyć korelację i istotność statystyczną między dwoma tablicami danych?

Question

Mam zestawy danych z dwiema równie długimi tablicami danych, lub mogę utworzyć tablicę wpisów z dwoma pozycjami i chciałbym obliczyć korelację i istotność statystyczną reprezentowaną przez dane (które mogą być ściśle skorelowane, lub może nie mieć statystycznie istotnej korelacji).

Programuję w Pythonie i instaluję scipy i numpy. Szukałem i znalazłem Calculating Pearson correlation and significance in Python, ale wydaje się, że chce się manipulować danymi, aby mieściły się w określonym zakresie.

Jaki jest właściwy sposób, aby uzyskać korelację i znaczenie statystyczne dwóch tablic?

Answer 1

Możesz użyć Mahalanobis distance między tymi dwiema tablicami, która bierze pod uwagę korelację między nimi.

Funkcja znajduje się w pakiecie scipy: scipy.spatial.distance.mahalanobis

Jest dobrym przykładem here

Answer 2

scipy.spatial.distance.euclidean()

Daje euklidesowa odległość między 2 punkty, 2 np. tablice, 2 listy itp.

import scipy.spatial.distance as spsd 
spsd.euclidean(nparray1, nparray2) 

Możesz pobrać Więcej informacji można znaleźć tutaj: http://docs.scipy.org/doc/scipy/reference/spatial.distance.html

Answer 3

Jeśli chcesz obliczyć współczynnik korelacji Pearsona, to należy wybrać: scipy.stats.pearsonr; chociaż znaczenie ma znaczenie tylko w przypadku większych zbiorów danych. Ta funkcja nie wymaga manipulowania danymi w określonym zakresie. Wartość korelacji przypada na przedział [-1,1], może to było zamieszanie?

Jeśli znaczenie nie jest szczególnie ważne, można użyć numpy.corrcoef().

Odległość Mahalanobisa uwzględnia korelację między dwiema tablicami, ale zapewnia pomiar odległości, a nie korelację. (Matematycznie, odległość Mahalanobisa nie jest prawdziwą funkcją odległościową, ale może być użyta jako taka w pewnych kontekstach z wielką korzyścią).