### 1. Предпосылки и интуитивное понимание (до XIX века)

До появления формальных методов ученые и мыслители интуитивно понимали, что некоторые вещи меняются вместе.

* **Астрономия и навигация:** Понимание взаимосвязи между положением звезд и временем года.
* **Экономика:** Меркантилисты и физиократы отмечали связи между ценами, предложением и спросом.
* **Медицина:** Эмпирические наблюдения, например, связи между симптомами болезни.

Однако этим наблюдениям не хватало численной меры силы связи.

### 2. Зарождение концепции: сэр Фрэнсис Гальтон (конец XIX века)

**Настоящим отцом концепции корреляции считается английский ученый сэр Фрэнсис Гальтон.**

* **Контекст:** Гальтон занимался изучением наследственности и евгеники. Его интересовало, как признаки родителей (например, рост) передаются потомкам.
* **Прорыв:** В 1880-х годах, анализиру данные о росте родителей и детей, Гальтон заметил, что у высоких родителей дети, как правило, тоже высокие, но **не такие же высокие, как родители**. Он назвал это **«регрессией к среднему»** (regression toward mediocrity). Этот термин сохранился в статистике до сих пор.
* **Концепция:** Гальтон ввел идею **«сопряженности»** (co-relation) переменных. Он первым начал визуализировать взаимосвязи с помощью **диаграмм рассеяния** (scatter plots), нанося на график одну переменную против другой. Именно Гальтон сформулировал ключевой вопрос: *"Как измерить силу этой связи?"*

### 3. Математическая формализация: Карл Пирсон (конец XIX - начало XX века)

Гальтон был блестящим эмпириком, но ему не хватало математической строгости. Эту задачу блестяще решил его протеже, **Карл Пирсон**.

* **Коэффициент корреляции Пирсона (r):** Опираясь на работы Гальтона и французского математика Огюста Браве (который ранее разработал метод наименьших квадратов), Пирсон вывел знаменитую формулу для **коэффициента продукта моментов Пирсона (Pearson Product-Moment Correlation Coefficient)**, обозначаемого как **r**.

* `r = Σ[(Xi - X̄)(Yi - Ȳ)] / √[Σ(Xi - X̄)² * Σ(Yi - Ȳ)²]`

* **Значение `r`:** Этот коэффициент давал четкую числовую меру:
* **-1 ≤ r ≤ 1**
* **r = 1**: Идеальная положительная линейная связь.
* **r = -1**: Идеальная отрицательная линейная связь.
* **r = 0**: Отсутствие линейной связи.
* **Публикация:** Пирсон представил свои результаты в фундаментальной работе **«Законы наследственности»** (1901) и в серии статей "Математический вклад в теорию эволюции". Он не только дал формулу, но и разработал методы проверки ее статистической значимости.

Благодаря Пирсону корреляция превратилась из качественной идеи в мощный количественный инструмент.

### 4. Развитие альтернативных методов (первая половина XX века)

Коэффициент Пирсона хорош для линейных связей и данных, подчиняющихся нормальному распределению. Вскоре появились методы для других типов данных.

* **Чарльз Спирмен (1904):** Предложил **ранговую корреляцию Спирмена**. Этот метод измеряет не линейную, а **монотонную** связь (т.е., когда одна переменная возрастает, другая тоже возрастает или убывает, но не обязательно по прямой линии). Он работает с рангами данных, а не с их исходными значениями, что делает его более робастным к выбросам и подходящим для порядковых шкал.
* **Морис Кендалл (193:** Предложил еще один ранговый коэффициент — **τ (тау) Кендалла**. Он основан на подсчете количества согласующихся и несогласующихся пар наблюдений. Тау Кендалла часто считается более интерпретируемым и лучше обобщаемым на многомерные случаи.

### 5. Современная эпоха: компьютеры и многомерный анализ (вторая половина XX века - наши дни)

С появлением вычислительной техники концепция корреляции вышла на новый уровень.

* **Матрицы корреляции:** Стало возможным легко вычислять корреляции между десятками и сотнями переменных одновременно, представляя их в виде матрицы. Это основа для многих методов анализа данных.
* **Многомерная статистика:** Корреляция стала фундаментом для более сложных методов:
* **Регрессионный анализ:** Прямое развитие идей регрессии Гальтона.
* **Факторный анализ:** Поиск скрытых переменных (факторов), которые объясняют наблюдаемые корреляции между множеством признаков.
* **Анализ главных компонент (PCA):** Использует матрицу корреляций для снижения размерности данных.
* **Новые типы корреляций:** Появились методы для специфических типов данных, например, **бисериальная корреляция**, **частная корреляция** (учитывающая влияние третьих переменных) и др.
* **Визуализация:** Современные пакеты для анализа данных (R, Python) позволяют мгновенно строить тепловые карты (heatmaps) корреляционных матриц, делая их анализ интуитивно понятным.

### Ключевые выводы из истории:

1. **От идеи к измерению:** Путь от интуитивного понимания связи до ее точного численного измерения — главное достижение Гальтона и Пирсона.
2. **Важность визуализации:** Диаграмма рассеяния, введенная Гальтоном, остается одним из самых важных инструментов для первичного анализа данных.
3. **"Корреляция ≠ Причинность":** Этот фундаментальный принцип был осознан почти сразу. Сильная корреляция не означает, что одна переменная вызывает изменение другой. Это может быть совпадение или влияние третьей, скрытой переменной.
4. **Эволюция инструментов:** Развитие различных коэффициентов корреляции показывает, как статистика адаптируется для работы с разными типами данных и видов зависимостей.

Таким образом, история корреляции — это классический пример научного прогресса: наблюдение → концептуализация → математическая формализация → обобщение и применение.
***
Хотя Галилей и Бернулли не разрабатывали формальную теорию корреляции в том виде, в каком мы её знаем, их интуитивные догадки и методологические прорывы заложили критически важный фундамент для будущей статистики. Давайте разберем их вклады по отдельности.

Галилео Галилей (1564 – 1642): Интуиция об ошибках и вариабельности
Галилей работал за 200 лет до Гальтона, в эпоху, когда не было ни теории вероятностей, ни статистики в современном понимании. Его главный вклад лежит в области анализа ошибок наблюдений.

Контекст: Галилей проводил физические эксперименты, например, по измерению ускорения свободного падения. Он понимал, что повторные измерения одной и той же величины дают немного разные результаты.

Интуитивная догадка: В своих рукописях (например, в «Диалоге о двух главнейших системах мира») Галилей qualitatively (качественно) описал, что наблюдательные ошибки являются неизбежными и что малые ошибки происходят чаще, чем большие. Он заметил, что если измерить одну и ту же величину много раз, то результаты будут группироваться вокруг некоторого центрального значения.

Значение: Хотя Галилей не вывел никакого закона распределения (как это позже сделал Гаусс с нормальным распределением), он интуитивно понял два ключевых момента:

Существование случайной вариабельности.

Идею о том, что эта вариабельность имеет структуру (частота ошибок зависит от их величины).

Почему это важно для корреляции? Без понимания того, что сами по себе данные обладают случайной вариабельностью, сама идея измерить, как вариабельность одной переменной связана с вариабельностью другой, не могла бы возникнуть. Галилей начал процесс осмысления "шума" в данных.

Семья Бернулли (Якоб, Иоганн, Даниил; XVII – XVIII вв.): Формализация вероятности и гипотез
Бернулли были пионерами теории вероятностей, которая является математической основой статистики, включая корреляцию.

Якоб Бернулли (1654 – 1705): Его главный труд «Искусство предположений» (Ars Conjectandi), опубликованный посмертно в 1713 году, содержал Закон больших чисел. Этот закон формально доказал, что при большом числе испытаний относительная частота события стремится к его теоретической вероятности.

Значение для корреляции: Закон больших чисел дал статистикам будущего (таким как Пирсон) математическое обоснование. Они могли быть уверены, что вычисляя коэффициент корреляции по выборке данных (например, по 100 парам "рост отца - рост сына"), они получают оценку истинной корреляции в генеральной совокупности (всех отцов и сыновей). Без этой теоремы вся статистика была бы лишена надежности.

Даниил Бернулли (1700 – 1782): Он напрямую столкнулся с проблемой, очень близкой к идее корреляции, в контексте астрономии.

Проблема: Несколько астрономов независимо измеряли время прохождения Венеры по диску Солнца. Их измерения немного различались. Как найти наилучшее итоговое значение?

Интуитивная догадка Бернулли: Даниил Бернулли предположил, что эти ошибки измерений не являются независимыми. Он считал, что существует "систематическая ошибка", общая для всех наблюдателей, вызванная, например, личными особенностями восприятия. Фактически, он интуитивно предположил наличие скрытого общего фактора, который связывает (коррелирует) ошибки разных наблюдателей.

Значение: Это была одна из первых попыток концептуализировать зависимость между ошибками измерений. Пирсон и другие later формально разработали методы для работы с такими зависимостями.

Синтез: Почему эти догадки были так важны?
Галилей показал, что данные по своей природе "зашумлены", и это не просто досадная помеха, а объект для изучения.

Бернулли (Якоб) предоставил математический инструмент (Закон больших чисел), чтобы делать надежные выводы из этого "шума".

Бернулли (Даниил) интуитивно нащупал идею о том, что вариабельность в одних данных может быть вызвана скрытыми общими факторами, влияющими на другие данные — это сердцевина идеи корреляции.

Вывод: Галилей и Бернулли не изобрели корреляцию. Они создали интеллектуальную экосистему, в которой сама постановка вопроса Гальтоном — "Как измерить силу связи между двумя переменными?" — стала возможной и математически осмысленной. Они превратили наблюдение из набора разрозненных фактов в предмет для точного количественного анализа.