Книга: Статистика и котики

Приложение 1. Коротко о главном

Приложение 1. Коротко о главном

В данном разделе кратко представлены методы, рассмотренные в книге, а также примеры их применения на практике. На этот раз без картинок и почти без котиков.

ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ, НЕОБХОДИМЫЕ ДЛЯ ПОНИМАНИЯ МАТЕРИАЛА

Генеральная совокупность — группа объектов, которые вам интересны как исследователю. В книге — все котики как биологический вид.

Выборка — часть генеральной совокупности, доступная для исследования. Статистики стремятся к тому, чтобы результаты, полученные на выборках, были верны и для генеральной совокупности. В книге описывается как котики, которых мы непосредственно измеряем.

Связанные выборки — ситуация, при которой любому объекту из первой выборки соответствует ровно один объект из второй. Можно сказать, что они образуют неразрывную пару (а в более сложных случаях — тройку, четверку и т. д.). В книге — котики до и котики после приема лекарства.

Наблюдение — измеренный объект. Котик.

Переменные — свойства объектов, которые поддаются измерению. В книге — котиковое счастье, здоровье, размер и т. д.

Значение переменной — степень выраженности того или иного свойства у конкретного объекта. Иными словами — насколько данный котик здоров, сыт и счастлив.

МЕРЫ ЦЕНТРАЛЬНОЙ ТЕНДЕНЦИИ

Используются, когда вам нужно отразить наиболее типичные значения, присутствующие в вашей выборке.

Состав:

1. Мода — наиболее часто встречающееся значение.

2. Медиана — середина упорядоченного ряда значений.

3. Среднее арифметическое — сумма значений, деленная на их количество.

Пример: определение наиболее типичной зарплаты в нашей стране можно осуществлять по двум показателям — среднему арифметическому и медиане. Первая определяется как количество денег, деленное на количество людей, а второе — как зарплата человека, стоящего ровно посередине между самым бедным и самым богатым. Как правило, эти значения различаются — средняя зарплата выше медианной. И чем это различие больше, тем выше социальное неравенство в обществе.

МЕРЫ ИЗМЕНЧИВОСТИ

Используются, когда нужно отразить степень разброса значений относительно меры центральной тенденции.

Состав:

1. Размах — разность между максимальным и минимальным значениями.

2. Дисперсия — сумма квадратов отклонений, деленная на их количество. Отклонение — это разность между средним арифметическим и конкретным значением. Дисперсии для генеральной совокупности и для выборки вычисляются по разным формулам.

3. Стандартное отклонение — корень из дисперсии.

Пример: предположим, вы владеете заводом, который выпускает гвозди. Для любого массового производства необходимо, чтобы изделия полностью соответствовали некоторому стандарту. Например — длина ваших гвоздей должна быть ровно 10 см. Однако на практике всегда существуют некоторые отклонения от этого стандарта (например 10,2 или 9,7 см). Меры изменчивости позволяют оценить величину этих отклонений. Если стандартное отклонение длины превышает некоторое критическое значение, то ваша продукция не соответствует стандарту, а следовательно — не является качественной.

МЕРЫ РАЗЛИЧИЙ ДЛЯ НЕСВЯЗАННЫХ ВЫБОРОК

Позволяют определить различия между двумя несвязанными выборками. Наличие значимых различий по определенному признаку позволяет с некоторой уверенностью говорить о том, что генеральные совокупности также различаются. Эти методы делятся на параметрические и непараметрические. Первые желательно использовать только тогда, когда ваши данные удовлетворяют следующим требованиям.

1. Данные представлены в метрической шкале. Иными словами, признаки должны быть представлены в определенных единицах измерения (см, кг, сек. и т. д.)

2. Большое число наблюдений (от 30, но лучше более 100).

3. Распределение значений признаков приблизительно соответствует нормальному.

4. Отсутствуют выбросы (значения, на порядок отличающиеся от среднего).

Непараметрические меры различий работают и без этих допущений. Наиболее часто используемые меры различий представлены в таблице.

Пример: предположим, что вы выращиваете помидоры, и вам необходимо определить, какой из двух сортов демонстрирует лучшую урожайность. Чтобы это сделать, вам необходимо подсчитать количество помидоров при каждом кусте и занести эту информацию в таблицу. Дальше вы применяете к этим данным t-критерий Стьюдента и по нему судите о наличии различий между сортами. Если сортов больше двух, то ваш выбор — дисперсионный анализ с последующим сравнением с помощью специальных post-hoc-критериев.

МЕРЫ РАЗЛИЧИЙ ДЛЯ СВЯЗАННЫХ ВЫБОРОК

Позволяют определить различия между двумя связанными выборками. Также делятся на параметрические и непараметрические:

Пример: Представим, что вы преподаватель курсов повышения квалификации, и вам интересно узнать, вынесли ли ваши слушатели что-нибудь полезное с занятий. Чтобы это сделать, вам необходимо разработать некоторый проверочный тест и раздать его слушателям до начала занятий и после их окончания. T-критерий Вилкоксона позволит вам проверить, стали ли слушатели лучше знать ваш предмет. Если же вы провели несколько таких измерений, то ваш вариант — это критерий Фридмана.

МЕРЫ СВЯЗИ

Данный класс критериев (называемых также коэффициентами корреляции) позволяет найти взаимосвязь между переменными. Математически взаимосвязь — это совместное изменение переменных.

Если она положительна и равна 1, то увеличение значения первой переменной сопровождается увеличением значения второй. Если она отрицательна (-1), то высокое значение первой переменной сопровождается низким значением второй. Коэффициент корреляции, равный 0, обозначает отсутствие взаимосвязи.

Самыми популярными коэффициентами корреляции являются r Пирсона (параметрический) и p Спирмена (непараметрический).

Пример: вы решили провести психологическое исследование и выяснить, существует ли взаимосвязь между интеллектом и уровнем дохода. Для этого вам необходимо найти группу испытуемых, измерить их интеллект, узнать их среднемесячный доход и найти коэффициент корреляции. Если он высок и положителен, то более интеллектуальные люди получают больше денег.

Если вы получили подобный результат, необходимо быть очень внимательными при его интерпретации. Поскольку равновероятными могут быть следующие варианты.

Более умные люди получают работу с более высоким заработком.

Высокий доход позволяет больше времени уделять саморазвитию в целом и развитию интеллекта в частности.

Существует неизвестная переменная (фактор), обусловливающая эту взаимосвязь.

Взаимосвязь является случайным совпадением.

РЕГРЕССИОННЫЙ АНАЛИЗ

Данная группа методов позволяет построить функциональную математическую модель — уравнение, которое помогает предсказать значение некоторой целевой переменной, используя значения ряда переменных, называемых предикторами.

Наиболее распространенными методами регрессионного анализа являются линейная и логистическая регрессии. Линейная регрессия позволяет предсказать точное количественное значение некоторой переменной, представленной в метрической шкале. Логистическая регрессия позволяет предсказать вероятность принадлежности объекта к тому или иному классу.

Пример: предположим, вы управляете сетью розничных магазинов и хотите получить представление о том, какие факторы влияют на ежемесячную выручку в этих магазинах. Для этого вы должны замерить все возможные факторы, которые, по вашему мнению, могут на эту выручку повлиять: количество людей, посещающих магазин, число сотрудников на кассах, наличие на полках определенного товара и т. д. Затем необходимо построить линейную регрессию, указав в качестве целевой переменной выручку с этих магазинов, а в качестве предикторов — все, что вы замерили.

Получив регрессионную модель, вы сможете не только посмотреть, какие факторы влияют на продажи, но и предсказать, какую выручку будет получать магазин при определенных условиях.

Если вы немного скорректируете вашу задачу и примените метод логистической регрессии, то вы сможете узнать условия, при которых ваш магазин будет прибыльным или убыточным.

ДИСКРИМИНАНТНЫЙ АНАЛИЗ

Дискриминантный анализ во многом похож на логистическую регрессию. Задачу, которую он решает, можно приблизительно сформулировать так: по каким переменным я могу отнести конкретный объект в тот или иной класс.

Пример: предположим, вы проводите медицинское исследование и хотите узнать, по каким диагностическим показателям можно отличить больного человека от здорового. Для этого вы берете группы заведомо здоровых и больных людей и замеряете у них всех возможных «подозреваемых». После этого необходимо провести дискриминантный анализ, который и выявит систему показателей, по которым можно установить конкретный диагноз.

КЛАСТЕРНЫЙ АНАЛИЗ

Кластерный анализ позволяет разбить ваши объекты на классы. При этом число классов может быть заранее неизвестным, либо вы точно знаете их количество. В первом случае ваш выбор — это метод иерархической кластеризации, который последовательно объединяет объекты в группы, основываясь на расстоянии между ними. Для второго случая необходим метод k-средних, который группирует ваши объекты вокруг так называемых центроидов.

Пример: представим себе, что вы занимаетесь онлайн-продажами, и вам необходимо выделить категории клиентов, для того чтобы организовать более эффективную таргетированную рекламу. Чтобы это сделать, вы можете запустить на своем сайте небольшой опросник и, собрав некоторые данные о посещаемости тех или иных страниц, провести кластерный анализ. Если у вас есть некоторые предположения о том, какие именно категории клиентов заходят к вам на сайт, ваш выбор k-средних. Если таких предположений нет — то можно обойтись иерархической кластеризацией.

ФАКТОРНЫЙ АНАЛИЗ

Факторный анализ позволяет сократить количество переменных, заменив их набором факторов. Кроме того, он может являться предварительной процедурой перед проведением регрессионного анализа в случае, если ряд предикторов коррелирует между собой.

Пример: предположим, вы разрабатываете батарею психологических тестов, предназначенную для диагностики способностей у школьников. После того, как вы составили ряд задач, а также провели их на выборке учащихся, вам необходимо будет провести факторный анализ. Если высокий балл по одной задаче, как правило, сопровождается высоким баллом по другой задаче, значит, за ними скорее всего стоит некоторый общий фактор. Этот фактор и будет указывать на уровень развития той или иной способности.

Оглавление книги