Статистика и R
Занятие 3
6 марта 2023
Занятие 3
Статистика
- Распределения вероятностей
R
- Пайпы и работа с датафреймами с помощью dplyr
- Построение графиков с помощью ggplot2
dplyr - пакет для работы с датафреймами
filter- отбрать строки по значению в столбцеselect- отобрать столбцыarrange- отсортировать по столбцуmutate- изменить или добавить столбецtransmute- изменить или добавить столбец, остальные убратьgroup_by- сгруппировать датафрейм по значениям в столбцеsummarise- посчитать что-то внутри групп (обычно)
mtcars
mpg cyl disp hp drat wt qsec vs am gear carb
Mazda RX4 21.0 6 160.0 110 3.90 2.620 16.46 0 1 4 4
Mazda RX4 Wag 21.0 6 160.0 110 3.90 2.875 17.02 0 1 4 4
Datsun 710 22.8 4 108.0 93 3.85 2.320 18.61 1 1 4 1
Hornet 4 Drive 21.4 6 258.0 110 3.08 3.215 19.44 1 0 3 1
Hornet Sportabout 18.7 8 360.0 175 3.15 3.440 17.02 0 0 3 2
Valiant 18.1 6 225.0 105 2.76 3.460 20.22 1 0 3 1
Duster 360 14.3 8 360.0 245 3.21 3.570 15.84 0 0 3 4
Merc 240D 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2
Merc 230 22.8 4 140.8 95 3.92 3.150 22.90 1 0 4 2
Merc 280 19.2 6 167.6 123 3.92 3.440 18.30 1 0 4 4
Merc 280C 17.8 6 167.6 123 3.92 3.440 18.90 1 0 4 4
Merc 450SE 16.4 8 275.8 180 3.07 4.070 17.40 0 0 3 3
Merc 450SL 17.3 8 275.8 180 3.07 3.730 17.60 0 0 3 3
Merc 450SLC 15.2 8 275.8 180 3.07 3.780 18.00 0 0 3 3
Cadillac Fleetwood 10.4 8 472.0 205 2.93 5.250 17.98 0 0 3 4
Lincoln Continental 10.4 8 460.0 215 3.00 5.424 17.82 0 0 3 4
Chrysler Imperial 14.7 8 440.0 230 3.23 5.345 17.42 0 0 3 4
Fiat 128 32.4 4 78.7 66 4.08 2.200 19.47 1 1 4 1
Honda Civic 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2
Toyota Corolla 33.9 4 71.1 65 4.22 1.835 19.90 1 1 4 1
Toyota Corona 21.5 4 120.1 97 3.70 2.465 20.01 1 0 3 1
Dodge Challenger 15.5 8 318.0 150 2.76 3.520 16.87 0 0 3 2
AMC Javelin 15.2 8 304.0 150 3.15 3.435 17.30 0 0 3 2
Camaro Z28 13.3 8 350.0 245 3.73 3.840 15.41 0 0 3 4
Pontiac Firebird 19.2 8 400.0 175 3.08 3.845 17.05 0 0 3 2
Fiat X1-9 27.3 4 79.0 66 4.08 1.935 18.90 1 1 4 1
Porsche 914-2 26.0 4 120.3 91 4.43 2.140 16.70 0 1 5 2
Lotus Europa 30.4 4 95.1 113 3.77 1.513 16.90 1 1 5 2
Ford Pantera L 15.8 8 351.0 264 4.22 3.170 14.50 0 1 5 4
Ferrari Dino 19.7 6 145.0 175 3.62 2.770 15.50 0 1 5 6
Maserati Bora 15.0 8 301.0 335 3.54 3.570 14.60 0 1 5 8
Volvo 142E 21.4 4 121.0 109 4.11 2.780 18.60 1 1 4 2filter()
mpg cyl disp hp drat wt qsec vs am gear carb
Mazda RX4 21.0 6 160.0 110 3.90 2.620 16.46 0 1 4 4
Mazda RX4 Wag 21.0 6 160.0 110 3.90 2.875 17.02 0 1 4 4
Hornet 4 Drive 21.4 6 258.0 110 3.08 3.215 19.44 1 0 3 1
Merc 280 19.2 6 167.6 123 3.92 3.440 18.30 1 0 4 4
Ferrari Dino 19.7 6 145.0 175 3.62 2.770 15.50 0 1 5 6select()
arrange()
mpg cyl disp
Ferrari Dino 19.7 6 145.0
Mazda RX4 21.0 6 160.0
Mazda RX4 Wag 21.0 6 160.0
Merc 280 19.2 6 167.6
Hornet 4 Drive 21.4 6 258.0 mpg cyl disp
Hornet 4 Drive 21.4 6 258.0
Merc 280 19.2 6 167.6
Mazda RX4 21.0 6 160.0
Mazda RX4 Wag 21.0 6 160.0
Ferrari Dino 19.7 6 145.0mutate()
Конвейер
- Pipe - последовательное использование нескольких функций
“Базовый” R
mt <- mtcars
mt <- mt[mt$mpg >= 18.5, ]
mt <- mt[(mt$wt < 4 & mt$cyl == 6), ]
mt <- mt[, c("mpg", "cyl", "disp")]
mt$l100km <- mt$mpg * 235.2
mt mpg cyl disp l100km
Mazda RX4 21.0 6 160.0 4939.20
Mazda RX4 Wag 21.0 6 160.0 4939.20
Hornet 4 Drive 21.4 6 258.0 5033.28
Merc 280 19.2 6 167.6 4515.84
Ferrari Dino 19.7 6 145.0 4633.44Tydyverse/dplyr подход
# %>% ctrl + shift + M
mt <- mtcars %>%
filter(mpg >= 18.5) %>%
filter(wt < 4, cyl == 6) %>%
select(mpg, cyl, disp) %>%
mutate(l100km = mpg * 235.2)
mt mpg cyl disp l100km
Mazda RX4 21.0 6 160.0 4939.20
Mazda RX4 Wag 21.0 6 160.0 4939.20
Hornet 4 Drive 21.4 6 258.0 5033.28
Merc 280 19.2 6 167.6 4515.84
Ferrari Dino 19.7 6 145.0 4633.44group_by() и summarise()
Распределение вероятностей
Непрерывные распределения
- Нормальное распределение
- Стандартное нормальное распределение
- Логнормальное распределение
- Распределение Стьюдента
- Распределение Фишера
- Распределение хи-квадрат
- Непрерывное равномерное распределение
- Экспоненциальное распределение
- …
Дискретные распределения
- Распределение Бернулли
- Биномиальное распределение
- Распределение Пуассона
- Геометрическое распределение
- Гипергеометрическое распределение
- …
Нормальное распределение
X∼N(μ,σ2)
Правило 68-95-99.7
Логнормальное распределение
При логарифмировании получается нормальное распределение.
Распределение Бернулли
Случайная величина X имеет распределение Бернулли, если она принимает всего два значения:
1 - “успех”, 0 - неудача, с вероятностями p и q = 1 - p.
| θ | 0 | 1 |
|---|---|---|
| 1-p | p |
E[X]=p=1∗p+0∗(1−p)
D[X]=p∗(1−p)=E[X2]−(E[X])2
Биномиальное распределение
Проводим n независимых испытаний Бернулли с одинаковой вероятностью “успеха” в каждом. Случайная величина - количество “успехов” в этой серии испытаний.
P(X=k)=(nk)pk(1−p)n−k=n!k!(n−k)!(1−p)n−k
E[X]=np
D[X]=np(1−p)
Биномиальное распределение
Вероятность успешной трансфекции 0.20. Если после трансфекции мы посмотрим на выборку из 10 клеток, какая будет вероятность того, что ровно 2 клетки успешно трансфицированы?
Вероятность успешной трансфекции 0.20. Если после трансфекции мы посмотрим на выборку из 10 клеток, какая будет вероятность того, что хотя бы 2 клетки успешно трансфицированы?
Биномиальное распределение
- Вероятность успешной трансфекции 0.20. Если после трансфекции мы посмотрим на выборку из 10 клеток, какая будет вероятность того, что ровно 2 клетки успешно трансфицированы?
- Вероятность успешной трансфекции 0.20. Если после трансфекции мы посмотрим на выборку из 10 клеток, какая будет вероятность того, что хотя бы 2 клетки успешно трансфицированы?
Распределение Пуассона
Случайная величина - количество редких событий за единицу времени или пространства.
λ - параметр интенсивности.
P(X=k)=λke−λk!
Распределение Пуассона
За единицу времени в большой популяции клеток в среднем 2 клетки приобретают мутацию. Какова вероятность того, что за единицу времени 5 клеток приобретут мутацию?
Распределение Пуассона
За единицу времени в большой популяции клеток в среднем 2 клетки приобретают мутацию. Какова вероятность того, что за единицу времени 5 клеток приобретут мутацию?
Распределение Пуассона
При больших n и малых p биномиальное распределение можно аппроксимировать распределением Пуассона.
n→∞, p→0, np=λ=const
n>>k
Геометрическое распределение
Случайная величина - номер первого “успеха” в серии испытаний Бернулли.
P(X=k)=(1−p)k−1p
Гипергеометрическое распределение
Случайная величина - число “успехов” в n независимых испытаниях. В популяции размером N всего S “успехов”.
Есть ящик с S белыми шарами и N-S черными шарами, из ящика извлекается всего n шаров, количество извлеченных белых шаров k - случайная величина.
P(X=k)=(Sk)(N−Sn−k)(Nn)
Визуализация данных
Зачем нужно рисовать данные?
Зачем нужно рисовать данные?
# A tibble: 13 × 6
dataset mean_x mean_y std_dev_x std_dev_y corr_x_y
<chr> <dbl> <dbl> <dbl> <dbl> <dbl>
1 away 54.3 47.8 16.8 26.9 -0.0641
2 bullseye 54.3 47.8 16.8 26.9 -0.0686
3 circle 54.3 47.8 16.8 26.9 -0.0683
4 dino 54.3 47.8 16.8 26.9 -0.0645
5 dots 54.3 47.8 16.8 26.9 -0.0603
6 h_lines 54.3 47.8 16.8 26.9 -0.0617
7 high_lines 54.3 47.8 16.8 26.9 -0.0685
8 slant_down 54.3 47.8 16.8 26.9 -0.0690
9 slant_up 54.3 47.8 16.8 26.9 -0.0686
10 star 54.3 47.8 16.8 26.9 -0.0630
11 v_lines 54.3 47.8 16.8 26.9 -0.0694
12 wide_lines 54.3 47.8 16.8 26.9 -0.0666
13 x_shape 54.3 47.8 16.8 26.9 -0.0656Зачем нужно рисовать данные?
Как визуализировать разные данные?
Как визуализировать категориальные данные?
- столбчатая диаграмма
- круговая диаграмма
- …
Как визуализировать количественные данные?
- гистограмма
- распределение плотности
- диаграмма рассеяния / scatter plot
- диаграмма размаха / боксплот
- скрипичная диаграмма / violin plot
- линейная диаграмма / line plot
- …
ggplot2
Пример - данные про пингвинов
# A tibble: 344 × 8
species island bill_length_mm bill_depth_mm flipper_…¹ body_…² sex year
<chr> <chr> <dbl> <dbl> <dbl> <dbl> <chr> <dbl>
1 Adelie Torgersen 39.1 18.7 181 3750 male 2007
2 Adelie Torgersen 39.5 17.4 186 3800 fema… 2007
3 Adelie Torgersen 40.3 18 195 3250 fema… 2007
4 Adelie Torgersen NA NA NA NA <NA> 2007
5 Adelie Torgersen 36.7 19.3 193 3450 fema… 2007
6 Adelie Torgersen 39.3 20.6 190 3650 male 2007
7 Adelie Torgersen 38.9 17.8 181 3625 fema… 2007
8 Adelie Torgersen 39.2 19.6 195 4675 male 2007
9 Adelie Torgersen 34.1 18.1 193 3475 <NA> 2007
10 Adelie Torgersen 42 20.2 190 4250 <NA> 2007
# … with 334 more rows, and abbreviated variable names ¹flipper_length_mm,
# ²body_mass_gДанные -> …
Данные -> оси -> …
Данные -> оси -> тип графика -> …
Данные -> оси -> тип графика -> тема -> …
Запишем “часть” графика в переменную
Константа vs переменная
Варианты aes - aesthetics
shape- тип символаcolor- цвет общий / цвет обводкиfill- заливкаsize- размерstroke- толщина обводкиalpha- прозрачность
Color для разных фигур
Color vs fill
И color, и fill для обводки и заливки.
Цветовая шкала
cols <- c("#00afb9", "#fed9b7", "#f07167") p_labels <- c("Адели", "Антарктический", "Субантарктический") p <- p + geom_point(aes(color = species), size = 3, alpha = 0.8) + scale_color_manual(values = cols, labels = p_labels) pcols <- c("#00afb9", "#fed9b7", "#f07167") p_labels <- c("Адели", "Антарктический", "Субантарктический") p <- p + geom_point(aes(color = species), size = 3, alpha = 0.8) + scale_color_manual(values = cols, labels = p_labels) p
Названия осей
Название графика
Сделаем красиво…
Тема: текстовые элементы
Image credit: Emi Tanaka
Тема: сетка графика
Image credit: Emi Tanaka
Тема: зоны графика
Image credit: Emi Tanaka
Сохранение в файл
После записи в файл, проверяйте, что все сохранилось правильно. Например, размеры итоговой картинки (height и width) могут не подходить для вашего графика - все либо будет слишком мелко, либо элементы будут наезжать друг на друга.
Если не указать plot = my_plot, то будет сохранен последний нарисованный/выведенный в консоль график.
Сохранение в файл
Более универсальный вариант:
Либо сохраняйте вручную из RStudio.
В панели Plots: Export -> Save as…