УЧЕБНО-МЕТОДИЧЕСКОЕ ПОСОБИЕ

Язык программирования  

к.ф.-м.н., доцент

Мусин Наиль Минбариевич

Новомосковск 2015

СОДЕРЖАНИЕ

Mind Map. 3

Введение. 4

Начало работы.. 5

Установка рабочей папки. 5

CTRL+L.. 6

Числа и переменные. Функция c() 9

Округление. 9

Функции пользователя. 11

Векторы, их сложение и вычитание. Скалярное произведение. 12

Отбор элементов вектора. Сортировка. 12

Матрицы.. 13

Сложение. Умножение. 14

Действия над строками и столбцами. 16

Определитель. 17

Обратная матрица. 17

СЛАУ.. 18

Списки. Функция list() 20

Таблицы (фреймы). Функция frame() 20

Работа с файлами. 20

Блокнот. 21

Excel 23

Программирование. 25

for, while, векторизация. 25

if. 26

switch. 26

r-файлы.. 26

Эконометрика. 27

Однопараметрическая регрессия. 27

Множественная регрессия. 35

Временны́е ряды.. 40

Заключение. 45

Использованные источники. 46

Mind Map

Введение

В пособии даётся представление об одном из самых мощных, профессиональных и современных средств работы с числами, начиная от простых вычислительных задач и заканчивая статистической обработкой больших массивов данных – языке R. Несмотря на это, он может быть установлен даже на USB-флеш диск.

Объектно-ориентированный язык R является свободно распространяемым и бесплатным, имеет интерфейс командной строки.  Создан в 2011 году программистами Ross Ihaka и Robert Gentleman (Новая Зеландия, Оклендский университет). R является свободной реализацией языка S, который был разработан в компании Bell Laboratories Риком Бекером, Джоном Чамбером и Алланом Вилксом и который лежит в основе коммерческой программы S-Plus.

Первоначально язык R (как и язык S) создавался для статистических расчётов, но с тех пор его возможности вышли далеко за пределы статистики. Однако, для сравнения, укажем, что в статистических расчётах он намного превосходит возможности таких оконно-кнопочных неспециализированных программ, как MS Excel, Gnumeric, OpenOffice.org Calc, и специализированных программ STATISTICA, STADIA, PAST, SPSS, MiniTab, StatGraphics, а также с интерфейсом командной строки SAS, Stata, SYSTAT, S-Plus.

В частности, знакомство с языком R навсегда отбивает у российского пользователя считать что-либо в Excel.

Кроме того, польза от овладения R состоит в том, что можно научиться ценить чистый командный интерфейс, запуская x64\R.exe или i386\ R.exe. Минимальный графический интерфейс запускается x64\Rgui.exe или i386\Rgui.exe. Командный интерфейс среды R настолько прост и понятен, что необходимость в графических интерфейсах напрочь отпадает. Некоторые недостатки работы с командной строкой можно обойти, готовя программу в текстовом редакторе Блокнот.

Начало работы

Скачать последнюю версию можно по адресу
https://cran.r-project.org  - выбрать  Download R for Windows, выбрать base,
нажать затем на Download R 3.5.1 for Windows

При выборе файлов (из двух обведённых на рисунке) нужно предварительно выяснить разрядность компьютера. Можно выбрать оба файла.

В данной работе рекомендуется запускать x64\Rgui.exe или i386\Rgui.exe с минимальным графическим интерфейсом и не рекомендуется устанавливать более «продвинутые» графические оболочки, которые в среде R, как показывает опыт, лишь намного усложняют, а не упрощают работу. В среде R намного проще, быстрее и логичнее добиться результата с помощью командной строки.

Установка рабочей папки

Обязательно нужно установить ярлык программы на рабочий стол.
Затем на каком-либо логическом диске создать папку (например,
D:\R_Directory), щелкнуть по ярлыку правой кнопкой мыши и в поле
 Рабочая папка  вписать путь к созданной папке:

Все создаваемые файлы будут автоматически сохраняться в этой рабочей папке, и в этой же папке будут создаваться с помощью текстового редактора Блокнот файлы с числовыми данными для последующей обработки в среде R.

CTRL+L

В самом начале работы в R каждый раз появляется и каждый раз надоедает уже наполовину заполненное рабочее окно:

Раз и навсегда избавиться от этого «приветствия» невозможно.

Чтобы очистить экран, осваиваем первую команду CTRL + L . Она будет применяться и в дальнейшем по мере заполнения экрана.

Но эта команда ничего не уничтожает, она как бы прокручивает экран вверх. Всё, что делается, накапливается в виде электронного «свитка», и при закрытии программа задаёт стандартный вопрос:

При согласии всё наработанное будет сохранено в двух файлах:

1)    .Rhistory – здесь все введённые в ходе работы команды, и

2)     .Rdata – здесь все созданные в ходе работы объекты.

Эти файлы можно найти в вышеописанной рабочей папке и, при необходимости, можно отредактировать файл  .Rhistory в текстовом редакторе Блокнот .

Если же отказаться сохранить рабочее пространство, то всё наработанное исчезнет, и при следующем запуске всё начнётся «с чистого листа».

Чтобы быть уверенными в том, что новый проект начнётся с «чистого листа», можно вообще удалить файлы .Rhistory и .Rdata. Среда R создаст новые, «чистые» копии этих файлов.

Иногда советуют, что, если нужно начать «с чистого листа», не закрывая программу, то нужно набрать команду  rm(list=ls()), или через меню: Разное à Удалить все объекты . Однако при этом история команд сохраняется. Поэтому лучше всё-таки закрыть программу, удалить файлы .Rhistory и .RData и затем запустить программу.

Числа и переменные. Функция c()

Как работать с числами и переменными, ясно из следующего рисунка:

Знак равенства означает присваивание, а в конце команды точка с запятой не ставится.

Две распространённые константы:

Округление

Количество n десятичных знаков дробной части  для округляемого числа x устанавливается с помощью команды round(x, n):

Но если надо получить больше десятичных знаков, то сейчас ничего не получится. Надо сначала с помощью команды digits установить максимально возможное в R количество десятичных знаков, равное 16, причём последующие цифры уже неверны:

Если установить команду digits(икс, n), то все дальнейшие результаты будут с n знаками после запятой.

Число 1 в квадратных скобках показывает, что в 1-й ( и единственной) ячейке массива записано число 3.

Далее с этой переменной можно производить любые действия. Например:

Если же надо ввести одномерный массив (вектор), то используется функция  создания одномерного массива однотипных элементов .  Функция применяется к вектору покомпонентно:

Функции пользователя

Пример таких функций:  

Векторы, их сложение и вычитание. Скалярное произведение

Отбор элементов вектора. Сортировка

Пример: пусть в вектор занесены возрасты сотрудников по мере их поступления на работу. Требуется сделать выборку сотрудников возраста от 30 до 35 лет:

Очевидно, что можно формировать сложные запросы с помощью логических операторов:

Сортировать элементы вектора можно следующим образом:

Матрицы

Матрицы создаются из векторов следующим образом:

Как видим, элементы вектора выписываются сверху вниз по столбцам. Чтобы элементы выписывались слева направо по строкам, следует это указать следующим образом:

Отсортированную матрицу можно сохранить на жёсткий диск:

Сложение. Умножение

Действия над строками и столбцами

Соединяем вместе строки и столбцы матриц М и В в одну матрицу:

Определитель

Обратная матрица

СЛАУ

Не знающий, что такое СЛАУ – да не читает этот пункт.

Проверим полученное решение:

Списки. Функция list()

Векторы можно объединить в так называемые списки с помощью функции list(), при этом векторы могут быть разных типов и разной длины.

Таблицы (фреймы). Функция frame()

Таблица в R аналогична таблицам программы Excel и ей подобных табличных процессоров: столбцы, то есть векторы, могут состоять из ячеек различных форматов (типов), но должны состоять из одинакового количества элементов.  Таблица в R – частный случай списка.

Работа с файлами

До сих пор данные в R вводились с клавиатуры. Однако данные можно набирать сначала в текстовом редакторе Блокнот , а потом считывать данные из соответствующего файла. Эта возможность есть во всех языках программирования, но в R этот процесс реализован намного проще, красивее и изящнее - скорее всего потому, что  язык R работает на текстовом коде, и нет здесь никаких fopen, fclose.

Блокнот

Допустим, наши данные располагаются в трёх столбцах x, y и z.

Заходим в рабочую папку среды R и в Блокноте набираем через пробел имена столбцов, например, январь, февраль, март. Они составляют заголовок (head).

Во второй и последующих строках набираем данные, отделяя их пробелом. Пусть получилось следующее:

январь  февраль март

0.2 189 198.7

0.6 102 106.9

1.0 84 57.5

1.4 37 30.9

1.8 9 16.6

2.2 2 9.0

2.6 3 4.8

3.0 1 2.6

3.4 2 1.4

3.8 0 0.7

Сохраним данные в файле data.txt.

Запускаем среду R и в рабочем окне набираем команду

данные = read.table(“data.txt”, head = TRUE) :

Как видим, заголовок надо включать опцией head = TRUE.

Для того, чтобы со столбцами можно было обращаться как с отдельными объектами, следует их имена включить в пространство имён командой attach(данные). Тогда можно будет, например, покомпонентно сложить все три столбца:

Мы также можем просуммировать числа отдельно по столбцам, а можно и все числа в таблице:

Можно подсчитать средние значения:

Excel

Часто данные бывают сохранены в формате Excel. Например:

Следует сохранить его в формате .txt, но таких форматов Excel предлагает несколько. Следует выбрать Текст Юникод (*.txt)  и сохранить, например, в файл по имени data.txt:

Открыв в Блокноте файл data.txt, видим:

В Excel употребляется десятичная ЗАПЯТАЯ, в то время как в R употребляется десятичная ТОЧКА, поэтому следует произвести соответствующую замену:

Полученный файл data.txt следует переместить в рабочую папку среды R.
Программирование

for, while, векторизация

Про циклы for, while далее не будет ни слова (справку можно легко получить в среде R), ибо без них в R можно вообще обойтись за счёт так называемой векторизации вычислений. Это означает, что можно выполнить некоторые операции сразу над всеми элементами вектора, матрицы:

Более сложный пример:

На практике этого бывает достаточно.

Вот типичный пример решения задач с применением for:

Задача.  Вычислить  

Вот решение в Паскале:

Var S, X, Pr : Real;  N, I : Integer;

 Begin

  Write('Введите число слагаемых и x: '); ReadLn(N, X);

  Pr := 1;

  S := 0;

    For I := 1 To N Do

     Begin

      Pr := Pr * Sin(X);       
                S := S + Pr

     End;

  WriteLn('Сумма равна ', S : 7 : 4)

 End.

А вот решение в R:

if

switch

r-файлы

Последовательность совершенных действий можно сохранить в текстовый файл:

расширение txt заменить на r (пусть файл назвали xxx.r), открыть файл в Блокноте и отредактировать, в частности, убрать значок ввода >

Чтобы запустить этот файл, нужно ввести команду source(“xxx.r”)

Эконометрика

Однопараметрическая регрессия

Проведём анализ связи между кредитами, предоставленными предприятиям, организациям, банкам и физическим лицам, млн руб., и основными фондами в экономике (по полной балансовой (учетной) стоимости; на конец 2001 года, по следующим данным:

Социально-экономические показатели субъектов РФ на начало 2001 г.

Источник данных: Регионы России. 2000. – М., 2001 г.

Для удобства работы составим отдельную таблицу, в которой регионы будут перенумерованы:

Из исходной таблицы удалим столбец с названиями регионов, далее произведём над ней следующие преобразования.

В таблицу с данными введём следующие обозначения переменных:

x - кредиты, предоставленные предприятиям, организациям, банкам и физическим лицам, млн руб.

y - основные фонды в экономике (по полной балансовой (учетной) стоимости; на конец года), млн руб.

Получим следующую таблицу, которую сохраним в текстовом файле data.txt в рабочей папке среды R:

Считываем данные из файла data.txt:

data= read.table("data.txt", head=TRUE)

attach(data)

Поле корреляции (коррелограмму, диаграмму рассеяния) строится автоматически с помощью команды plot(x,y):

В правом верхнем углу мы видим точку, значительно отклоняющуюся от основной группы.  Она соответствует данным по региону 18, то есть по Москве. Эту точку следует убрать.

Получается следующее поле корреляции:

Убираем ещё две точки (по Санкт-Петербургу и Тюменской области).

Построенное поле корреляции с довольно отчётливой тенденцией:

Ясно, что зависимость будет скорее квадратичной, но ни в коем случае не показательной и не гиперболической (эти зависимости являются либо строго возрастающими, либо строго убывающими).

Ищем зависимость в виде  

lm(formula = y ~ x + I(x^2))

Residuals:

    Min      1Q  Median      3Q     Max

-150565  -51166   -5482   32731  189131

Coefficients:

                     Estimate         Std. Error         t value                  Pr(>|t|)   

(Intercept)     97020               10420             9.313              6.21e-14 ***

x                    89050               7.588             1.735               2e-16      ***

I(x^2)          -0.0043               0.00486        -8.778 6.          04e-13    ***

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 73050 on 71 degrees of freedom

Multiple R-squared:  0.7165,    Adjusted R-squared:  0.7085

F-statistic:  89.7 on 2 and 71 DF,  p-value: < 2.2e-16

Все коэффициенты a, b и c значимы по критерию Стьюдента на уровне p-value < 0.001; это показывают *** в столбце Coefficients) и сами значения p-value Pr(>|t|):  для коэффициента a,  для коэффициента  b и   для коэффициента с.

Уравнение квадратичной регрессии

 Среднеквадратичное отклонение (Adjusted R-squared) для данной модели составляет , то есть качество модели достаточно высокое. Значимость среднеквадратичного отклонения подтверждает и высокое значение F-статистики Фишера, равное 89.7, и общий уровень значимости (определяемый по этой статистике): p-value: , что много меньше обычно достаточного на практике значения 0.001.

Рассмотрим для сравнения остальные модели для нашей задачи.

Линейная модель  :

> summary(lm(y~x))

Call:

lm(formula = y ~ x)

Residuals:

    Min      1Q  Median      3Q     Max

-345935  -66123  -16070   56229  368348

Coefficients:

             Estimate Std. Error t value Pr(>|t|)   

(Intercept) 1.370e+05  1.344e+04  10.194 1.30e-15 ***

x           2.655e+01  3.763e+00   7.055 8.75e-10 ***

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 104800 on 72 degrees of freedom

Multiple R-squared:  0.4087,    Adjusted R-squared:  0.4005

F-statistic: 49.77 on 1 and 72 DF,  p-value: 8.752e-10

Среднеквадратичное отклонение (Adjusted R-squared) для линейной модели составляет , качество модели неудовлетворительное.

Экспоненциальная модель  

> summary(lm(log(y)~x))

Call:

lm(formula = log(y) ~ x)

Residuals:

    Min      1Q  Median      3Q     Max

-3.0420 -0.2631  0.1443  0.5378  1.1769

Coefficients:

             Estimate Std. Error t value Pr(>|t|)   

(Intercept) 1.159e+01  9.841e-02 117.725  < 2e-16 ***

x           1.293e-04  2.756e-05   4.691 1.26e-05 ***

---

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.7672 on 72 degrees of freedom

Multiple R-squared:  0.2341,    Adjusted R-squared:  0.2235

F-statistic: 22.01 on 1 and 72 DF,  p-value: 1.259e-05

Среднеквадратичное отклонение (Adjusted R-squared) для линейной модели составляет , качество модели неудовлетворительное.

Степенная модель  

> summary(lm(log(y)~log(x)))

Call:

lm(formula = log(y) ~ log(x))

Residuals:

     Min       1Q   Median       3Q      Max

-1.65134 -0.29374  0.06559  0.39976  1.01151

Coefficients:

            Estimate Std. Error t value Pr(>|t|)   

(Intercept)  9.17748    0.23953   38.31   <2e-16 ***

log(x)       0.43314    0.03853   11.24   <2e-16 ***

---

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.5281 on 72 degrees of freedom

Multiple R-squared:  0.6371,    Adjusted R-squared:  0.632

F-statistic: 126.4 on 1 and 72 DF,  p-value: < 2.2e-16

Среднеквадратичное отклонение (Adjusted R-squared) для линейной модели составляет , качество модели удовлетворительное, но хуже квадратичной модели.

Гиперболическая модель  

> t=1/x

> summary(lm(y~t))

Call:

lm(formula = y ~ t)

Residuals:

    Min      1Q  Median      3Q     Max

-151500  -76329  -42345   35332  454574

Coefficients:

             Estimate Std. Error t value Pr(>|t|)   

(Intercept) 205773.84   16239.52  12.671  < 2e-16 ***

t              -39.14      10.17  -3.848 0.000255 ***

---

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 124100 on 72 degrees of freedom

Multiple R-squared:  0.1706,    Adjusted R-squared:  0.159

F-statistic: 14.81 on 1 and 72 DF,  p-value: 0.0002553

Среднеквадратичное отклонение (Adjusted R-squared) для линейной модели составляет , качество модели очень плохое.

Множественная регрессия

Проведём анализ экономических результатах деятельности российских банков по следующим данным:

Удалим из таблицы ненужные столбцы, пронумеруем банки и сохраним пронумерованный список банков в файл Номера банков.doc

Введем переменные:

x - Собственный капитал, %

y -  Средства частных лиц, %

z -  Кредиты предприятиям и организациям, млн руб.

Данные сохраним в файл data.txt

Пусть y и z – факторы, а z – признак.

Считываем данные из файла data.txt:

data= read.table("data.txt", head=TRUE)

attach(data)

Определим  коэффициенты парной  корреляции:

cor(data)
                 z         x        y

z     1.000

x    -0.350  1.000 

y    -0.082  0.134  1.000

Они очень малы. Линейная зависимость  признака  от факторов практически отсутствует.

Определим  частные корреляции:

 >library(ggm)

> alpha=cor(data)

> parcor(alpha)

          z      x      y

z    1.000

x  -0.343  1.000 

y  -0.037  0.113  1.000

Построим модель множественной линейной регрессии признака z на факторы x и y в виде  

> summary(lm(z~x+y))

Call:

lm(formula = z ~ x + y)

Residuals:

    Min      1Q  Median      3Q     Max

-18.266  -5.809  -1.157   3.873  56.966

Coefficients:

                   Estimate            Std. Error            t value           Pr(>|t|)   

(Intercept)  21.05                   0.9704                21.694       < 2e-16 ***

x               -0.1961                  0.003763           -5.211                 4.61e-07 ***

y               -4.379∙10^-6            8.237∙10^-6         -0.532                 0.596   

---

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 9.103 on 203 degrees of freedom

Multiple R-squared:  0.1238,    Adjusted R-squared:  0.1152

F-statistic: 14.35 on 2 and 203 DF,  p-value: 1.487∙10^-6            

Коэффициенты a = -0.196, b =-4.379∙10-6, c = 21.05.

Коэффициент b практически равен нулю. Согласно критерию Стьюдента он незначим, так как уровень значимости p-value = 0.596, что значительно превышает приемлемый уровень 0.001. Коэффициенты a и c значимы.

Коэффициент множественной корреляции (Multiple R-squared) для данной модели составляет , то есть качество данной модели неудовлетворительное.

Значимость среднеквадратичного отклонения, равного 14.35, подтверждает  и F-критерий Фишера, согласно которому общий уровень значимости (определяемый по этой статистике): p-value: .487∙10-6, что намного меньше обычно достаточного на практике значения 0.001.

Так как признак z от фактора y практически не зависит, построим модель однофакторной линейной регрессии признака z на факторы x в виде  

> summary(lm(z~x))

Call:

lm(formula = z ~ x)

Residuals:

    Min      1Q  Median      3Q     Max

-18.244  -5.800  -1.076   3.289  56.961

Coefficients:

                         Estimate             Std. Error             t value              Pr(>|t|)   

(Intercept)        21.03883             0.96839                21.73           < 2e-16 ***

x                     -0.19877                0.03723               -5.34                2.47 ∙10^-7 ***

---

Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 9.087 on 204 degrees of freedom

Multiple R-squared:  0.1226,    Adjusted R-squared:  0.1183

F-statistic: 28.51 on 1 and 204 DF,  p-value: 2.474∙10^-7         

Уравнение регрессии имеет вид z = -0.19877x + 21.03883.

Оба коэффициенты значимы, однако среднеквадратичное отклонение (Adjusted R-squared) для данной модели составляет , то есть качество данной модели неудовлетворительное.

Временны́е ряды

Исследуем динамику числа предприятий в Российской Федерации в 1995–2003 гг. на примере данных о Дальневосточном федеральном округе.

Для удобства обработки данных выделим список территориальных единиц отдельно и далее будем работать с их номерами по списку.

Создадим матрицу процентов:

> proc = matrix(nrow =9, ncol = 9)

>for (k in 1:9){proc[,k]=data[,k]/sum(data[,k])*100}

>proc=round(proc,2)

> proc

      [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9]

 [1,] 14.50 14.08 13.85 13.49 13.25 13.51 13.58 13.63 14.30

 [2,] 29.40 29.29 29.11 28.72 28.78 28.73 29.75 30.44 30.21

 [3,] 18.24 18.58 19.26 19.81 20.49 20.59 20.74 21.23 21.77

 [4,] 10.76 10.70 10.39 10.10  9.90  9.80  9.60  9.34  9.05

 [5,]  7.12  7.19  7.34  7.60  7.79  8.00  8.16  7.76  7.58

 [6,]  6.55  6.47  6.45  6.52  6.54  6.56  6.53  6.34  6.07

 [7,] 10.04 10.40 10.52 10.68 10.11  9.64  8.50  8.19  7.87

 [8,]  2.41  2.32  2.10  2.06  2.08  2.08  2.06  2.06  2.09

 [9,]  0.99  0.98  0.99  1.01  1.07  1.09  1.08  1.02  1.06

Формируем матрицу процентов для региона в целом:

> years=c(1995:2003)

> region=c(1:9)