Сколько было просмотров страниц url которых содержит behavior

Отчеты «Источники трафика»

В этом разделе Google Analytics представлены отчеты по различным источникам трафика. «Источники трафика» состоит из: «Обзор», «Весь трафик», «AdWords», «Search Console», «Социальные сети» и «Кампании».

Отчеты «Источники трафика»

Обзор

Обзор источников трафика содержит информацию по группам каналов по умолчанию – набору меток, которые можно присваивать различным источникам трафика на основании некоторых правил. Стандартная группа каналов «Default Channel Grouping» в Google Analytics включает в себя 9 различных меток. Подробнее об этом в следующей статье.

Каждой метке группы каналов соответствуют показатели из трех категорий: «Источники трафика», «Действия» и «Конверсии». Такое сочетание в Google Analytics называют группами метрик ABC.

Группы метрик ABC

• Группа A (Acquisition — входящий трафик);
• Группа B (Behavior — поведение пользователя на сайте);
• Группа C (Conversion — конверсии, целевые действия).

По каждой из группы метрик ABC можно сделать сортировку тех показателей, которые к ней принадлежат. Например, можно по группе С (конверсии) отфильтровать показатель «Доход» по убыванию и посмотреть, какой из каналов принес наибольшее количество денег.

Чтобы изменить группу каналов, необходимо под выбором сегмента нажать «Изменение группы каналов».

Изменение группы каналов

В отчете можно применить основной параметр из выпадающего списка (лучшие каналы, лучшие источники, лучшие источники/каналы), а также выбрать любую доступную конверсию (цель).

При анализе данных во всех отчетах «Источники трафика» доступен выбор периода сравнения.

Кликнув на любую из групп каналов, мы перейдем из отчета «Обзор» в отчет «Источники трафика — Весь трафик — Каналы». Например, при переходе по Organic Search откроется отчет с основным параметром «Ключевое слово».

Основной параметр – Ключевое слово

Примечание: о том, что такое (not set) и (not provided), читайте в этой статье.

А при переходе по прямому трафику (Direct) основной параметр в отчетах – «Страница входа».

Google Analytics определяет источники трафика по HTTP_REFERER (реферер), который является одним из заголовков запроса клиента (браузера). Он содержит URL-адрес источника запроса. Если перейти с одной страницы на другую, referer будет содержать адрес первой страницы.

Например, при переходе с https://osipenkov.ru/not-set-i-not-provided/ на главную страницу https://osipenkov.ru/ в поле referer передалось значение адреса первой страницы.

Очень часто используется, чтобы определить по каким поисковым запросам, как часто и куда именно попадают пользователи. Помимо referer для отслеживания действий пользователей также можно использовать IP-адрес или файлы cookie.

В случае отсутствия реферера Analytics занесет такое посещение в прямой трафик (Direct).

В качестве основного параметра можно выбрать собственную группу каналов. Также доступны: «Источник или канал», «Источник», «Канал» и «Другое» («Браузер», «Город», «Страна», «Язык», «Страница входа», «Ключевое слово», «Содержание объявления» и т.д.)

Основной параметр – Default Channel Grouping

Аналогично выглядит отчет «Источник/канал», в котором основным параметром является «Источник или канал».

Применив дополнительный параметр и расширенный фильтр (например, «Тип устройства» и «Источник или канал» содержит google), мы сможем проанализировать данные и определить наиболее эффективный канал продвижения.

Дополнительный параметр (Тип устройства) и расширенный фильтр (содержит google)

В отчет «Переходы» заносится информация о трафике, который Google Analytics не смог отнести ни к органическому, ни к какому-либо другому, несмотря на полученный адрес страницы, с которой был совершен переход (реферер).

Примечание: в примере источник yandex.ru – это 100% поисковая система, относящаяся к органическому бесплатному поиску. Однако Google не смог ее правильно распознать и все сеансы присвоил рефферальному трафику (referral). Чтобы в будущем этого избежать, необходимо на уровне ресурса в разделе «Код отслеживания» добавить yandex.ru в качестве источника обычных результатов поиска.

Чтобы просмотреть полный адрес страницы, с которой был осуществлен переход, добавим в качестве дополнительного параметра «Полный URL перехода»:

Полный URL перехода

С помощью «Карты эффективности» можно визуально оценить объем поступаемого трафика с того или иного канала и его общую ценность.

Основной показатель влияет на размер прямоугольника (больше = больше), а дополнительный – на его цвет (больше = зеленее).

Основной и дополнительный показатели

Несмотря на то, что рефферальный канал имеет одно из самых больших значений по основному параметру (сеансы) и размер прямоугольника выглядит соответствующе, его дополнительный показатель (страниц/сеанс) является одним из самых маленьких и поэтому прямоугольник раскрашен в красный цвет.

При клике на один из каналов мы окажемся на уровень ниже, где также будет представлена информация в виде раскрашенных прямоугольников.

AdWords

С помощью этих отчетов можно проанализировать действия пользователей на вашем сайте после клика по объявлению AdWords.

• Аккаунты AdWords, связанные с Google Analytics в настройках ресурса;

Если у вас их несколько, то система будет показывать отдельно по каждому аккаунту сводную статистику.

Основной параметр: «Аккаунт», «Кампания» и «Группа объявлений AdWords».

• Кампании с идентификаторами AdWords и со всеми доступными показателями: число кликов, цена за клик без учета НДС, стоимость без учета НДС и т.д.;

Кампании с идентификаторами AdWords

Основной параметр: «Название/идентификатор кампании» и «Группа объявлений AdWords».

• Карты эффективности аналогична той, что была разобрана выше, только по кампаниям из AdWords;
• Дополнительные ссылки позволяют оценить трафик по переходам с быстрых ссылок рекламного объявления;

• Корректировки ставок по различным вариантам: типу устройства (на уровне кампании и на уровне группы объявлений), местоположению, расписанию показа объявлений или списку ремаркетинга поисковых объявлений.

• Ключевые слова, по которым осуществлялись клики;

Примечание: знак «+» рядом с каждым словом означает модификатор широкого соответствия ключевых слов в Google AdWords.

Основной параметр: «Ключевое слово» и «Содержание объявления».

Есть существенная разница в терминологии:

• Поисковый запрос — то, что пользователь вводит в поисковую строку;
• Ключевое слово (фраза) — то, что указывается в интерфейсе Google AdWords.

И часто бывает, что поисковый запрос не равен ключевому слову. Согласно различным аналитическим исследованиям, количество новых запросов, которые пользователи вводят в поиске, ежемесячно увеличивается на 20%. То есть каждый месяц пользователи придумывают все новые и новые способы написания каких-либо товаров или услуг. В этом отчете как раз можно найти такие вариации ключевых фраз и добавить в свои рекламные кампании, подобрав релевантную посадочную страницу с привлекательным текстом и расширениями объявлений.

Основной параметр: «Поисковый запрос», «Тип соответствия запросу» и «Количество слов в запросе».

• Время суток. Показывает распределение кликов по часам и дням недели и позволяет скорректировать свои рекламные кампании таким образом, чтобы максимально взвешенно расходовать рекламный бюджет, не переплачивая за клиентов в неэффективное время;

Основной параметр: «Час» и «День недели».

• КонечныеURL. Отчет содержит страницы, на которые пользователи перешли после клика по объявлениям;

В разрезе этого отчета следует уделять особое внимание показателю отказов. Если он выше среднего значения, то необходимо принять комплекс мер, направленных на улучшение ситуации. Быть может, пользователь при клике на объявление переходит на сайт и не находит то, что было описано в тексте объявления, и уходит.

Основной параметр: «Конечный URL», «Сеть распространения объявлений» (сюда входят поисковые партнеры Google) и «Ключевое слово».

• Таргетинг в контекстно-медийной сети по различным видам:

Таргетинг в контекстно-медийной сети

Отдельно стоит отметить места размещения. В отчете могут быть представлены следующие значения:

1. Managed placements – места размещения, отобранные вручную. Это те площадки, которые мы указали в интерфейсе AdWords самостоятельно.
2. Automatic placements – места размещения, отобранные системой автоматически.

• Видеокампании. Отдельный тип кампаний с размещением на YouTube или в контекстно-медийной сети;

Основной параметр: «Название/идентификатор кампании», «Содержание объявления» и «Видео».

• Торговые кампании. Отдельный тип кампаний с размещением в поиске Google, Google Покупках, а также на сайтах поисковых партнеров.

Основной параметр: «Название/идентификатор кампании», «Категория уровня 1 в Покупках», «Тип товара уровня 1 в Покупках» и «Бренд в Покупках».

Search Console

Отчеты содержат данные по эффективности обычного поискового трафика.

Отчеты «Search Console»

• Страницы входа, по которым пользователи переходили на сайт;

В отчете доступны показатели по кликам, показам, CTR и средней позиции. Все эти данные позволяют оценивать эффективность поискового продвижения. Как видно из отчета, мой блог чаще всего посещают пользователи, которые вводят в запросах начало вопроса из экзаменов по Google, не считая зашифрованных в (other).

Совсем недавно Google расширил период хранения данных в Search Console с 90 дней до 1 года. Предполагается, что новую версию запустят в начале 2018 года и в ней появится ряд новых отчетов. И быть может, какая-то часть из них будем встроена в Analytics.

Социальные сети

Для анализа трафика из социальных сетей в Google Analytics предусмотрен отдельный раздел, который содержит 6 отчетов по взаимодействию пользователей с вашим контентом: «Обзор», «Переходы из сетей», «Страницы входа», «Конверсии», «Социальные модули» и «Пути пользователей».

Отчеты «Социальные сети»

В обзорном отчете показана социальная значимость данного источника трафика по отношению к общему количеству, а также сравнивается суммарное значение сеансов/конверсий и отдельный вклад социальных сетей в общую воронку. Отчет также предоставляет информацию о количестве конверсий в случае, когда переход из социальной сети стал последним источником перехода перед осуществлением конверсии. То есть произошла конверсия по последнему взаимодействию из социальных источников.

На скриншоте показана доля трафика из сетей, которая составляет ~1,5% от всего числа сеансов. Это говорит о том, что владелец сайта не использует потенциал социальных сетей в полной мере и не работает с аудиторией в этом канале.

Распределение по конкретным социальным сетям можно посмотреть в соответствующей таблице. При клике на одну из них нам откроется отчет «Переходы из сетей», где отображается динамика трафика из социальных сетей в сравнении с общим трафиком сайта.

В статистике используются данные по сеансам, просмотрам страниц, средней длительности сеанса и глубине просмотра (страниц/сеанс).

Переходы из социальных сетей

Данные также можно представить в виде распределения, эффективности или сравнения.

Отчет «Страницы входа» содержит статистику по переходам на ваш сайт из материалов, размещенных в социальных сетях.

Наибольшее количество сеансов по той или иной публикации косвенно говорит о ее популярности.

«Конверсии» — отчет, в котором приведены значения по количеству достигнутых целей (конверсий) по каждой из соцсетей.

Статистика доступна по двум вкладкам: «Конверсии» и «Вспомогательные конверсии последнего взаимодействия».

Отчет «Социальные модули» позволяет узнать, какие статьи и с помощью каких кнопок (например, «Мне нравится» от Facebook и «+1» от Google) чаще всего рекомендовали посетители вашего сайта. Отслеживая их с помощью Google Analytics, вы можете оценивать, насколько востребован тот или иной контент.

Чтобы данные в отчете стали доступны, необходимо изменить код отслеживания и добавить информацию о социальных взаимодействиях. Сделать это можно с помощью команды send, задав для параметра hitType значение social. Конечный код для вставки в элемент будет выглядеть так:

ga(‘send’, ‘social’, [socialNetwork], [socialAction], [socialTarget], [fieldsObject]);

Например, команда ga(‘send’, ‘social’, ‘Facebook’, ‘like’, ‘https://osipenkov.ru/sertifikaty-google-adwords-i-analytics/’); отправляет обращение в Google Analytics с информацией о том, что на странице http://osipenkov.ru/sertifikaty-google-adwords-i-analytics/ была нажата кнопка «Мне нравится» от Facebook.

Google+

По умолчанию Google Analytics предоставляет интегрированные отчеты по использованию кнопки +1. Это значит, что если на странице установлен код analytics.js и кнопка +1, все нажатия на нее будут автоматически учитываться как социальные взаимодействия каждым фрагментом кода отслеживания на этой странице.

Отчет «Пути пользователей» несет в себе ту же информацию, что и аналогичный отчет в разделе «Аудитория», о котором мы говорили в предыдущей статье.

Кампании

Последние 4 отчета, которые входят в раздел «Источники трафика» — это «Все кампании», «Оплачиваемые ключевые слова», «Неоплачиваемые ключевые слова» и «Анализ расходов».

Первый отчет показывает все рекламные кампании из Google AdWords, включая кампании с автоматической и ручной простановками меток.

Основной параметр: «Кампания», «Источник», «Канал», «Источник или канал» и «Другое».

Отчеты «Оплачиваемые ключевые слова» и «Неоплачиваемые ключевые слова» содержат информацию о трафике, который пришел на сайт с рекламных объявлений и бесплатного органического поиска соответственно.

Основной параметр: «Ключевое слово», «Поисковый запрос», «Источник», «Канал», «Кампания» и «Другое».

Благодаря отчету «Анализ расходов» все данные из разных рекламных систем можно объединить в Google Analytics и сравнивать их по эффективности в одном месте.

Основной параметр: «Источник или канал», «Кампания» и «Ключевое слово».

О том, как настроить импорт данных, читайте в этой статье.

АНАЛИЗ ДАННЫХ О ПОВЕДЕНИИ ПОЛЬЗОВАТЕЛЕЙ В СИСТЕМАХ ЭЛЕКТРОННОГО ОБУЧЕНИЯ Текст научной статьи по специальности «Компьютерные и информационные науки»

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Романов А.А., Волчек Д.Г.

Рассматриваются современные системы электронного обучения , имеющие возможность записывать действия пользователей, такие как передвижения, использование интерактивных материалов, регистрация на курсы, их завершение и др. Анализ действий пользователей в системах управления процессом обучения предоставляет возможности для персонализации образовательных траекторий. На основе изучения поведения пользователей становится возможным формирование рекомендаций для разработчиков курсов по улучшению контента и структуры, а также рекомендаций по прохождению курса обучающимся. Исследуются данные, содержащиеся в логах активности, для получения информации, поиска зависимостей путём фильтрации релевантных логов, структурирования информации из них и предоставления данных в удобном для анализа и получения выводов виде. Рассматриваются данные основных типов событий, генерируемых в результате записи действий пользователя в системе управления обучением, и сценарии использования результатов анализа этих данных.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Романов А.А., Волчек Д.Г.

Проектирование образовательной среды с помощью смарт-контрактов блокчейна Ethereum
АНАЛИЗ АКТИВНОСТИ СТУДЕНТОВ НА КУРСАХ ОНЛАЙН-ОБУЧЕНИЯ НА ОСНОВЕ ЛОГОВ ПЛАТФОРМЫ «OPENEDU»

Современные цифровые образовательные инструменты и цифровая компетеность: анализ существующих проблем и тенденций

Автоматическое извлечение атрибутов водителя из логов мобильного приложения такси
Оптимизация контента онлайн-курса по данным статистики активности пользователей
i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

DATA ANALYSIS OF USER BEHAVIOR IN E-LEARNING SYSTEMS

This article discusses modern e-learning systems that have the ability to record user actions, such as movement, use of interactive materials, registration for courses, their completion, and more. Analysis of user actions in learning management systems provides opportunities for personalization of educational trajectories. Based on the study of user behavior, it becomes possible to form recommendations for course developers to improve the content and structure, as well as recommendations for passing the course for students. This work examines the data contained in activity logs to obtain information, search for dependencies by filtering relevant logs, structuring information from them, and providing data in a form that is convenient for analysis and drawing conclusions. The paper considers data of the main types of events generated as a result of recording user actions in the training management system, and scenarios for using the results of analyzing this data.

Текст научной работы на тему «АНАЛИЗ ДАННЫХ О ПОВЕДЕНИИ ПОЛЬЗОВАТЕЛЕЙ В СИСТЕМАХ ЭЛЕКТРОННОГО ОБУЧЕНИЯ»

УДК 004.62 Б01: 10.18287/2223-9537-2020-10-1-100-111

Анализ данных о поведении пользователей в системах электронного обучения

А.А. Романов, Д.Г. Волчек

Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Санкт-Петербург, Россия

Рассматриваются современные системы электронного обучения, имеющие возможность записывать действия пользователей, такие как передвижения, использование интерактивных материалов, регистрация на курсы, их завершение и др. Анализ действий пользователей в системах управления процессом обучения предоставляет возможности для персонализации образовательных траекторий. На основе изучения поведения пользователей становится возможным формирование рекомендаций для разработчиков курсов по улучшению контента и структуры, а также рекомендаций по прохождению курса обучающимся. Исследуются данные, содержащиеся в логах активности, для получения информации, поиска зависимостей путём фильтрации релевантных логов, структурирования информации из них и предоставления данных в удобном для анализа и получения выводов виде. Рассматриваются данные основных типов событий, генерируемых в результате записи действий пользователя в системе управления обучением, и сценарии использования результатов анализа этих данных.

Ключевые слова: образование, поведение пользователей, электронное обучение, веб-программирование, базы данных.

Цитирование: Романов, А.А. Анализ данных о поведении пользователей в системах электронного обучения / А.А. Романов, Д.Г. Волчек // Онтология проектирования. — 2020. — Т. 10, №1(35). -С.100-111. — DOI: 10.18287/2223-9537-2020-10-1-100-111.

Прибегая к использованию МООК (массовых открытых онлайн-курсов, Massive Open Online Courses, МООС), университеты сталкиваются с различными проблемами, например, выбор качественных онлайн-курсов и оценка эффективности онлайн-обучения. Первая задача активно решается в последние годы в рамках проекта «Современная цифровая образовательная среда в России» [1]. Но по-прежнему остаются открытыми вопросы оценки эффективности обучения. Аналитика учебной деятельности обучающихся при освоении ими он-лайн-курсов является одним из инструментов повышения качества обучения [ 2]. Понимание поведения пользователей в системах онлайн-обучения может сильно улучшить качество и облегчить обучение в дальнейшем. Анализ поведения позволит ускорить изучение материала, предоставляя контент, который точно будет соответствовать потребностям учащихся. Обычно при изучении поведения в онлайн-образовании пользуются системой управления обучением (Learning Management System, LMS). Из неё можно узнать, когда вошёл каждый учащийся, историю его посещений, а также запись пройденных курсов. Однако эта информация не является достаточной для построения моделей слушателя и необходимо дополнять её за счёт поведенческих логов.

Основная цель исследования — найти эффективные способы работы с большими объёмами данных, создаваемых веб-средами обучения. Для получения этих данных необходимо

структурировать логи активности пользователей. Структурированные данные необходимо предоставить в удобно читаемом виде, доступном для анализа, извлечения выводов или различных метрик, а также построения предсказательных моделей.

1 Принципы анализа электронного обучения

Если бы можно было анализировать поведение учащихся при работе с онлайн-учебными материалами, это облегчило и ускорило бы процесс обучения, предоставляя учащимся контент, который точно соответствует их потребностям. Обычно система управления обучением позволяет отслеживать «прогресс» обучающихся, однако информация зачастую не так подробна, как хотелось бы. При анализе результатов обучения могут быть полезны следующие основные принципы.

Персонализация обучения. Концепция персонализации обучения в рамках МООК получила широкое распространение и поддержку. Актуальной является задача создания адаптирующихся персонализированных массовых онлайн курсов, поддерживающих наличие уров-невого контента и возможности построения индивидуальных траекторий [3]. Модель курса должна быть гибкой и уметь адаптироваться под действия пользователей, а также обеспечивать наличие некоторого «базового» пути, который должен использоваться в случае, если обучающийся мало знаком с предметной областью и не готов самостоятельно строить свою образовательную траекторию. Для решения этой проблемы целесообразно выполнять кластеризацию пользователей на основе их поведения: насколько успешно происходит усвоение материала, какие разделы курса просмотрел пользователь, переходил ли он по каким-либо внешним ссылкам, представленным в рамках курса и т.д. [4, 5]. Пользователи, которые менее заинтересованы в обучении или испытывают сложности, могут получать лишь базовый контент для достижения общих компетенций. Пользователи, которые показывают успехи, могут получать дополнительные материалы [6].

Понимание поведения учащихся. Для обеспечения возможности персонализации образовательного процесса необходимо точное и подробное отслеживание действий пользователей. Это позволит определять, как пользователи взаимодействуют с системой и учебным материалом. Без такой информации нет возможности определить, что конкретно не знает тот или иной человек, следовательно, нет возможности персонализировать подаваемый материал для пользователя. Современные системы обучения позволяют детально записывать каждый шаг изучения материала. Анализируя эту информацию, можно заметить, что пользователи, например, возвращаются к одному и тому же фрагменту курса. Этот фрагмент может быть информативным и полезным, но недостаточно понятным, и учащиеся предпринимают несколько попыток изучить данный материал. Возможно, что эта часть курса является обязательной для выполнения контроля (тест, упражнения, экзамен и т.д.) и дальнейшего освоения материала, и пользователи несколько раз пытаются её изучить [7, 8].

Возможность различать такие события с помощью информации о поведении пользователей является отправной точкой для создания персонализированного обучения и понимания того, что конкретно нужно пользователям и как следует адаптировать контент курса в дальнейшем.

Отслеживание действий и рекомендации. Существует множество примеров анализа поведения пользователей в сети. В том числе генерация индивидуальных предложений, формирование поисковой выдачи на основе семантики ранее произведённых запросов и т. д. В результате анализа поведения пользователя в системе обучения можно формировать сведения о регулярности участия пользователя в образовательном процессе, производить оценку его успеваемости и многое другое [9]. Исследование поведения обучающегося позволяет произ-

водить анализ потребляемого контента конкретными пользователями и создавать рекомендации по улучшению процесса обучения.

2 Модель представления логов

Развитие технологий обучения порождает множество учебных курсов, предлагаемых новыми системами управления обучением. Это не только даёт доступ к обучению, но и помогает преподавателям оценивать успеваемость учащихся. LMS является инструментом, который позволяет преподавателям автоматизировать отслеживание и запись действий учащихся. Такие записи называют логами (англ. log) — это файлы с записями о событиях в хронологическом порядке, обеспечивающие журналирование всех действий пользователя. Возможные полезные параметры, которые могут быть получены по логам [10, 11]:

■ активность (можно отслеживать, когда пользователь в последний раз был в LMS);

■ частота (отслеживание частоты посещений LMS);

■ длительность (как долго пользователи остаются в LMS во время посещений);

■ обратная связь (отзывы пользователей о содержании курса);

■ оценки (отслеживание средних баллов и сравнение относительно проходных и средних по пользователям);

■ попытки (установление количества попыток в том или ином задании или курсе).

Для отслеживания действий могут быть использованы различные методы. Например, это может быть генерация и отправка отчётов об активности конкретного пользователя целевой аудитории. Метод ручного отслеживания наиболее прост, но трудозатратен и малоэффективен. Современным является наличие выделенного веб-сервиса для мониторинга действий пользователя, результатов обучения и конечного вывода.

Из логов активности в LMS можно получить следующие характеристики поведения пользователя [11].

■ Время, затрачиваемое на обучение (это может помочь спрогнозировать требуемое время для прохождения того или иного курса на практике).

■ Время, затрачиваемое на освоение материала (отличается от предыдущего активностью, так как некто может, например, открыть курс и отвлекаться на что-то другое. Для этого учитывается активность в рамках окна браузера, переходы на другие страницы, вкладки и т.д. ).

■ Время, затраченное на каждый модуль (если пользователь тратит много (или слишком мало) времени на конкретный модуль, то это может указать на проблему в содержании курса: возможно материал сложный (простой/неинформативный) для освоения).

■ Оставление курса (если курс обладает высоким уровнем отсева, это может свидетельствовать как о сложности материала, так и его некорректности или несогласованности упражнений с лекциями).

2.1 Типы событий

Рассматриваемые логи состоят из событий — действий пользователя в рамках LMS. Существует множество событий, которые в соответствии с активностью студентов описываются логами с использованием той или иной платформы. В работе в качестве источника данных использовалась платформа Open edX Университета ИТМО. Все события в логе содержат данные об источнике событий. Так, значение «браузер» подразумевает некоторое действие пользователя, а значение «сервер» — действие LMS, например проверка ответа пользователя. Лог-записи также содержат поля, в которых хранится служебная информация о конкретном событии [12]. Используются описания событий следующих типов.

События передвижения по обучающей системе.

Когда обучающийся переходит по ссылке или объекту, например, для передвижения по курсу, осуществляется соответствующая лог-запись.

Источник события: браузер.

Поля в лог-записях (все типы событий передвижения имеют одинаковые поля, представленные в таблице 1):

■ seq_goto инициируется, когда пользователь переходит между страницами в последовательности;

■ seq_next инициируется, когда пользователь переходит к следующей странице в последовательности;

■ seq_prev инициируется, когда пользователь переходит к предыдущей странице в последовательности.

Таблица 1 — Подробности полей событий передвижений

Поле Тип Подробности

old integer Для seq_goto. Индекс страницы, с которой был произведён переход.

new integer Для seq_goto. Индекс страницы, на которую произведён переход.

id integer edX ГО последовательности

События взаимодействия с видео.

Лог-запись об этом событии осуществляется, когда студент воспроизводит видео в обучающей системе или как-то иначе взаимодействует с видео. Источник события: браузер. События, которые могут происходить:

■ pause_video инициируется, когда пользователь ставит видео на паузу;

■ play_video инициируется, когда пользователь запускает (продолжает) просмотр видео;

■ seek_video инициируется, когда пользователь проматывает видео;

■ speed_change_video инициируется, когда пользователь изменяет скорость воспроизведения видео.

Перечисленные события ссылаются в поля, указанные в таблице 2. Таблица 2 — Подробности полей событий взаимодействия с видео

Поле current_time Подробности Время в видео, которое пользователь выбрал для изменения скорости воспроизведения.

old_speed Скорость видео, с которой оно воспроизводилось ранее.

now_seed Скорость, которую выбрал пользователь.

События взаимодействия с PDF-документами.

LMS содержит информацию интерактивных учебников в виде pf-документов, для которых доступны поля, указанные в таблице 3. Источник события: браузер.

Таблица 3 — Подробности полей событий взаимодействия с PDF документами

Поле type Тип string Подробности ‘gotopage’, ‘prevpage’, ‘nextpage’

old integer Номер страницы, с которой произведен переход.

new integer Номер страницы, на которую перешли.

События перехода по внешним ссылкам.

Эти события содержат информацию, представленную в таблице 4. Источник события: браузер.

Таблица 4 — Подробности полей события перехода по ссылкам

Поле Тип Подробности

current url string Страница, на которой находился пользователь, где была нажата ссылка.

target_url string Адрес, на который перешел пользователь.

Событие вызова подсказки.

Вызов подсказок доступен в упражнениях, заданиях и опросах курса. Лог содержит идентификатор на тот или иной вид контроля, где пользователь запросил подсказку (таблица 5). Источник события: сервер.

Таблица 5 — Подробности полей события вызова подсказки

Поле Тип Подробности

problem_id string Идентификатор вида контроля

Событие проверки правильности ответа.

Серверное событие проверки ответа пользователя. Поля указаны в таблице 6. Источник события: сервер.

Таблица 6 — Подробности полей события проверки правильности ответа

Поле Тип Подробности

answer object Идентификатор вида контроля и ответ на него в виде пары имя/значение. Для компонента с несколькими вопросами перечислены все пары.

attempts number Количество попыток пользователя ответить на вопрос

problem_id string Идентификатор вида контроля

success string Правильно/неправильно

Рассмотренные события были получены в виде JSON (JavaScript Object Notation) структуры данных из образовательной платформы Open edX Университета ИТМО. Их описания содержат несколько полей в соответствии с тем действием, которое было совершено пользователем, и его типом. Пример пользовательского лога активности показан на рисунке 1.

Он получен для события ответ на вопрос при прохождении курса. В логе содержится служебная информация: о браузере пользователя, к какой странице он обратился, какое задание выполнял, сколько попыток было затрачено и т.д.: username — имя пользователя, которым было инициировано событие; event type — тип события;

ip — IP-адрес пользователя, совершившего действие; agent — браузер пользователя, который вызвал событие;

event — это поле содержит информацию о каждом из событий, вызванных пользователем. Каждое событие описано полями: attempts — количество попыток, которое потратил пользователь для ответа на вопрос, problem_id -идентификатор вида контроля, success — успешность ответа на вопрос.

Такой формат логов понятен разработчикам и тем, кто детально изучил документацию о платформе LMS.

2.2 Структурирование информации из логов

Для релевантных типов событий можно выделить две основные части данных, содержащихся в логах: идентификационная информация и детали события. Идентификационная часть включает:

«agent»: «Mozilla/5.0 (Xll; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chnome/58.0.3029.81 Safari/537.36», «referer»: «http://localtost :8000/courses/course-vl:ITM0+l+1337/courseware/bdd79acbl4354b379df387cl42d92f70/05b50d3648da4c

Рисунок 1 — Пример лога активности

Детали события специфичны для каждого типа события. События можно разделить на группы:

■ навигация пользователей (переходы на внешние ссылки и навигация в секциях курса);

■ взаимодействие с видеоматериалами (воспроизведения, паузы, перемотки, изменения скорости);

■ взаимодействие с документами (открытие документа, перелистывание, навигация);

■ ответы на вопросы (подсказки, показ ответов, проверка правильности);

i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

■ работа с курсами (регистрация на курсе, отмена курса, получение сертификата).

Для извлечения и структурирования данных логов активности написан программный модуль на языке Python с использованием библиотеки psycopg2. К каждому из типов событий написан индивидуальный модуль, так как данные в них зачастую разнородны. Для хранения данных была выбрана СУБД PostgreSQL. Схема базы данных (БД) для хранения данных из логов пользователей приведена на рисунке 2. Типы событий разделены на группы, и для каждой группы событий создана соответствующая таблица. Внутри таблиц есть поле типа события для идентификации типа. Поля пользователей и курсов связаны с соответствующими таблицами. Всего было обработано более 60000 логов. Обработка выполнялась с помощью разработанных модулей на языке Python. События, которые не подходят ни под один тип, были записаны в таблицу others для отслеживания активности того или иного пользователя в целом.

Рисунок 2 — Схема БД для хранения данных из логов

3 Полученные результаты

После автоматизированного наполнения БД для хранения логов с помощью разработанных модулей преобразования JSON логов было создано веб-приложение для отображения данных (рисунок 3). Приложение написано на языке Python c использованием веб-фреймворка flask, в качестве ORM (Object-Relational Mapping) использовалась программная библиотека SQLalchemy. В классах моделей ORM были описаны соответствующие таблицы в БД. Все дальнейшие взаимодействия с данными происходили посредством интерфейса, предоставляемого пакетом SQLalchemy. Приложение позволяет просмотреть пользователей, курсы и связанные с ними события. Реализованы фильтры по типам событий, пользователям, специфичные фильтры для групп, которые доступны для экспорта.

Event Logs Главная Справочники- Типы событий»

Список (12) Экспортировать Добавить Фиш перехода по ссылкам

Переходы по секциям

_ Взаимодействие с видео

Взаимодействие с докуметами Получение сертификата

Имя пользователя Идентификатор к Регистрация на курсе ятия Тип события Количество попыток Успешность выпопнения

® 12830403 course v1:ITMOtx1 Прочие события 13:12:46 проверка ответа 1 б

® 12830403 course-v1 ITMO+X1011 00+spring_2016 17.02.2018 13 11:56 проверка ответа 1 0

® 12830403 course-vl :1ТМО+хЮ11.00+spring 2016 17 02.2018 13 11:14 проверка ответа 11 ©

© 12830403 course-vl :1ТМО+хЮ11 00+spring_2016 17 02.2018 12:54:07 проверка ответа 1 0

® 12830403 course-v1 ITMO+X1011.00+spring 2016 1702.2018 12 53:29 проверка ответа 1 0

® 12830403 course v1 :ITMOtx1011.001 spring 2016 17.02.2018 12:52:41 проверка ответа ©

® 12830403 course-vl :1ТМО+хЮ11 00+spring_2016 17.02.2018 12:42:18 проверка ответа 1 0

® 12830403 C0Urse-v1 ITMO+X1011 00+spring 2016 17 02.2018 12 42:03 проверка ответа 1 0

® 12830403 course-vl :ITMO+x1011.00+spring 2016 17.02.2018 12:19:39 проверка ответа ©

® 12830403 course-vl :ITMO*x1011.004Spring_2016 17.02.2018 12:18:52 проверка ответа 1 б

® 12830403 course-v1 ITMO+X1011 00+spring_2016 17.02.2018 12 18:29 проверка ответа 1 ©

Рисунок 3 — Веб-приложение для просмотра активности пользователей

Приложение позволяет получить сводную информацию о том или ином пользователе через интерфейс пользователя. Отчёты формируются в виде pf-документа и содержат информацию о том, когда пользователь был в последний раз в системе, какие курсы он проходит и прошел, сколько это заняло времени и насколько правильно он ответил на вопросы курса, отследить его активность во времени и какими материалами курса он пользовался.

В итоге взаимодействие приложений в подготовке отчётов можно отобразить на схеме, показанной на рисунке 4. Из рисунка видно, что информация, генерируемая системой управления обучением, записывается на сервере в текстовые файлы. Это информация о действиях пользователей в LMS. После этого данные обрабатываются с помощью соответствующего модуля парсинга логов и заполняется БД. Для использования данных из БД создаются модели с помощью пакета SQLalchemy для дальнейшей работы с объектами классов языка Python. На этой основе строятся веб-приложение для отображения полученных данных и модуль составления отчётов для получения более детальной и структурированной информации с выводами о данных и успехах пользователей.

Для реализации формирования сводных pdf-документов (рисунок 5) использован пакет appy.pod. Он позволяет создавать динамические документы в форматах .pdf, .doc, odt, .rtf. Для использования этого пакета заранее создаётся документ-шаблон со всеми заголовками и расстановкой мест для данных, которые должны быть в выходном документе. Отчёты позволяют вывести заранее определённую информацию, например графики активности во времени, соотношения типов событий, собранных в системе, и предпочитаемые материалы.

Рисунок 4 — Общая схема взаимодействия приложений в подготовке отчётов

Рисунок 5 — Итоговый отчёт со сводной информацией по пользователю

В работе выполнен анализ средств обработки логов пользователей в системах онлайн обучения, предложены и реализованы дополнительные инструменты оценивания поведения пользователей:

■ выявление аномального поведения пользователей в системе;

■ выявление «проблемных» материалов, на которые пользователи тратили много времени или к которым возвращались несколько раз;

■ выявление «пустых» материалов, которые пользователи в большинстве случаев пропускали.

Использование таких инструментов позволяет улучшать качество образовательного контента и вырабатывать рекомендации для создателей курсов, а также создаёт информационную базу для разработки методов построения индивидуальных образовательных траекторий.

Для эксперимента были использованы данные, полученные из платформы edX Университета ИТМО. Платформа имеет свою систему логирования событий как со стороны сервера, так и со стороны клиента. Данные были обработаны с помощью написанного программного модуля для их структурирования и визуализации в веб-приложении с целью получения подробной информации о ходе прохождения курсов пользователями. В будущем возможно объединение полученной БД с данными системы обучения о курсах и пользователях для предоставления более детализированной информации. Результаты применимы к другим системам обучения, так как принципы их работы похожи, а для анализа поведения пользователей используется единый метод.

[1] Оценка качества онлайн-курсов. — http://neorusedu.ru/activity/otsenka-kachestva-onlayn-kursov.

[2] O’Farrell L. Using Learning Analytics to Support the Enhancement of Teaching and Learning in Higher Education // National Forum for the Enhancement of Teaching and Learning in Higher Education. 2017. — https:// www.teachingandlearning.ie/wp-content/uploads/2018/01/Final_LA-Briefing-Paper_Web-with-doi.pdf.

[3] Стародубцев, В.А. Персонализированные МООК в смешанном обучении // Высшее образование в России. — 2015. — №. 10. — С.133-144.

[4] Barnes, L. Why understanding Learner Behavior Benefits You / L. Barnes. September 2017. -https://elearningindustry.com/why-understanding-learner-behaviour-benefits-you.

[5] Rosalina Rebucas Estacio, Rodolfo Callanta Raga Jr. Analyzing students online learning behavior in blended courses using Moodle. June, 2018. — https://www.emeraldinsight.com/doi/full/10.1108/AA0UJ-01-2017-0016#.

[6] Быстрова, Т.Ю. Учебная аналитика МООК как инструмент прогнозирования успешности обучающихся / Т.Ю. Быстрова, В.А. Ларионова, Е.В. Синицын, А.В. Толмачев // Вопросы образования. — 2018. — №. 4. -С.139-166.

[7] Morrison, K. 8 Essential metrics to use for tracking employee training / Kim Morrison // January 3, 2019. -https://elearningindustry.com/tracking-employee-training-8-essential-metrics-use.

[8] Ragel, R.G. Students Behavioural Analysis in an Online Learning Environment Using Data Mining / R.G. Ragel, S. Deegalla. — University of Peradeniya, SriLanka. 2014.

[9] Bienkowski, M. Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics: An Issue Brief / M. Bienkowski, M. Feng, B. Means. U.S. Department of Education. October, 2012.

[10] Yadav, R.K. Understanding Logs in edX for Monitoring Student Progress / Ravi Kumar Yadav // Department of Computer Science and Engineering Indian Institute of Technology, Bombay. May, 2014.

[11] How to track e-learning in a LMS. March 30, 2018. — https://www.getmagicbox.com/blog/how-to-track-elearning-in-lms/.

[12] Event tracking logs. EdX research Guide. https://edx.readthedocs.io/projects/devdata/en/stable/internal_data_formats/tracking_logs.html

Сведения об авторах

Романов Алексей Андреевич, 1989 г. рождения. Окончил Университет ИТМО в 2012 году. Преподаватель Высшей школы цифровой культуры и ассистент факультета программной инженерии и компьютерной техники Университета ИТМО. AuthorlD (РИНЦ): 763669; Author ID (Scopus): 57197729875; ORCID 0000-0002-6991-464X; Researcher ID (WoS): K-2908-2015. romanov@itmo.ru. Волчек Дмитрий Геннадьевич, 1989 г. рождения. Окончил Университет ИТМО в 2012 году. Преподаватель Высшей школы цифровой культуры и ассистент факультета программной инженерии и компьютерной техники Университета ИТМО. AuthorID (РИНЦ): 766386; Author ID (Scopus): 57197732532; ORCID 0000-0002-0310-1654; Researcher ID (WoS): I-1688-2016. dvolchek@yandex.ru

Поступила в редакцию 02.12.2019, после рецензирования 13.03.2020. Принята к публикации 25.03.2020.

Data Analysis of User Behavior in E-Learning Systems

A. Romanov, D. Volchek

St. Petersburg National Research University of Information Technologies, Mechanics and Optics, St. Petersburg, Russia

This article discusses modern e-learning systems that have the ability to record user actions, such as movement, use of interactive materials, registration for courses, their completion, and more. Analysis of user actions in learning management systems provides opportunities for personalization of educational trajectories. Based on the study of user behavior, it becomes possible to form recommendations for course developers to improve the content and structure, as well as recommendations for passing the course for students. This work examines the data contained in activity logs to obtain information, search for dependencies by filtering relevant logs, structuring information from them, and providing data in a form that is convenient for analysis and drawing conclusions. The paper considers data of the main types of events generated as a result of recording user actions in the training management system, and scenarios for using the results of analyzing this data.

Key words: education, user behavior, e-learning, web programming, databases.

Citation: Romanov A, Volchek D. Data Analysis of User Behavior in E-Learning Systems [In Russian]. Ontology of designing. 2020; 10(1): 100-111. DOI: 10.18287/2223-9537-2020-10-1-100-111.

List of figures and tables

Figure 1 — Activity log example

Figure 2 — Database schema for storing data from logs

Figure 3 — Web application for viewing user activity

Figure 4 — The general scheme of application interaction in the preparation of reports

Figure 5 — Final report with user summary

Table 1 — Movement event fields details

Table 2 — Details of the video interaction event fields

Table 3 — Details of event fields for interaction with PDF documents

Table 4 — Following a link event fields details

Table 5 — Call tips event fields details

Table 6 — Details of response validation event fields

[1] Evaluating the quality of online courses [In Russian]. http://neorusedu.ru/activity/otsenka-kachestva-onlayn-kursov.

[2] O’Farrell L. Using Learning Analytics to Support the Enhancement of Teaching and Learning in Higher Education // National Forum for the Enhancement of Teaching and Learning in Higher Education. 2017. https:// www.teachingandlearning.ie/wp-content/uploads/2018/01/Final_LA-Briefing-Paper_Web-with-doi.pdf.

[3] Starodubtsev VA. Personalized MOOCs in mixed training [In Russian]. Higher education in Russia. 2015; 10: 133144.

[4] Lorna Barnes. Why understanding Learner Behavior Benefits You. September 2017. https://elearningindustry.com/why-understanding-learner-behaviour-benefits-you.

[5] Rosalina Rebucas Estacio, Rodolfo Callanta Raga Jr. Analyzing students online learning behavior in blended courses using Moodle. June, 2018. https://www.emeraldinsight.com/doi/full/10.1108/AA0UJ-01-2017-0016#.

[6] Bystrova TYu, Larionova VA, Sinitsyn EV, Tolmachev A V. Educational Analytics of MOOC as a tool for predicting the success of students [In Russian]. Questions of education. 2018; 4: 139-166.

[7] Kim Morrison. 8 Essential metrics to use for tracking employee training. January 3, 2019. https://elearningindustry.com/tracking-employee-training-8-essential-metrics-use.

[8] RG Ragel, S Deegalla. Students Behavioural Analysis in an Online Learning Environment Using Data Mining. University of Peradeniya, SriLanka. 2014.

[9] Marie Bienkowski, Mingyu Feng, Barbara Means. Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics: An Issue Brief. U.S. Department of Education. October, 2012.

[10] Ravi Kumar Yadav. Understanding Logs in edX for Monitoring Student Progress. Department of Computer Science and Engineering Indian Institute of Technology, Bombay. May, 2014.

[11] How to track e-learning in a LMS. March 30, 2018. https://www.getmagicbox.com/blog/how-to-track-elearning-in-lms/.

[12] Event tracking logs. EdX research Guide. https://edx.readthedocs.io/projects/devdata/en/stable/internal_data_formats/tracking_logs.html.

About the authors

Aleksei Romanov (b. 1989) He graduated from ITMO University in 2012. Lecturer at the Higher school of digital culture and an assistant at the faculty of software engineering and computer engineering at ITMO University. AuthorID (RCI): 763669; Author ID (Scopus): 57197729875; ORCID 0000-0002-6991-464X; Researcher ID (WoS): K-2908-2015. romanov@itmo.ru.

Dmitry Volchek (b. 1989) He graduated from ITMO University in 2012. Lecturer at the Higher school of digital culture and an assistant at the faculty of software engineering and computer engineering at ITMO University. AuthorID (RCI): 766386; Author ID (Scopus): 57197732532; ORCID 0000-0002-0310-1654; Researcher ID (WoS): I-1688-2016.

Received December 2, 2019. Revised March 13, 2020. Accepted March 25, 2020.

Ссылка на отчёт. Даты: апрель 2018 года. Сколько было просмотров страниц, URL которых содержит «features»?

Ссылка на отчёт. Даты: апрель 2018 года. Сколько было просмотров страниц, URL которых содержит «features»?

Понравилась статья? Поделиться с друзьями:

Вам также может быть интересно

Ссылка на отчёт. Даты: апрель 2018 года, атрибуция — последний переход. Сколько визитов останется

На сайте в качестве цели задано посещение страницы «Контакты». В 11:00 посетитель перешел на

За день на сайте по цели было зафиксировано 15 визитов, 10 посетителей, 5 целевых

В коде счетчика указана следующая информация: ym(XXXXXX, ‘init’, );.

Магазин «Уютно и тепло» торгует товарами для дома и дачи. На сайте для каждого

В каком стандартном отчете можно увидеть визиты только по тем кликам, которые не были

Комментарии: 2

Yuri 20.09.2019 в 10:51

https://metrika.yandex.ru/stat/url_param?dimension_mode=list&chart_type=pie&period=2018-04-01%3A2018-04-30&dimension_filter=features&id=44147844&stateHash=5d2ddb2f2b0718e319d3dd8c — пишет что 733

Наталья 07.08.2020 в 13:16

Спасибо!
Уже который отчет не могла понять, как определять, каждый раз допускала одну и ту же ошибку, а все оказалось так логично, когда перешла по вашей ссылке

Добавить комментарий Отменить ответ

Ссылка на отчёт. Даты: апрель 2018 года. Сколько было просмотров страниц, URL которых содержит «behavior»?

Ссылка на отчёт. Даты: апрель 2018 года. Сколько было просмотров страниц, URL которых содержит «behavior»?

Понравилась статья? Поделиться с друзьями:

Вам также может быть интересно
Ссылка на отчёт. Даты: апрель 2018 года, атрибуция — последний переход. Сколько визитов останется
На сайте в качестве цели задано посещение страницы «Контакты». В 11:00 посетитель перешел на
За день на сайте по цели было зафиксировано 15 визитов, 10 посетителей, 5 целевых
В коде счетчика указана следующая информация: ym(XXXXXX, ‘init’, );.
Магазин «Уютно и тепло» торгует товарами для дома и дачи. На сайте для каждого
В каком стандартном отчете можно увидеть визиты только по тем кликам, которые не были
Комментарии: 10
Наталья 02.11.2019 в 19:47

Почему 416? Добавила все URL с словом «behavior». В просмотрах получилось 1566. Объясните почему 416, пожалуйста.

Дмитрий 11.05.2020 в 13:17
Эх, нет ссылки на отчет.
Alexey 09.10.2020 в 22:46
Виталий 13.12.2020 в 13:56

332 это количество визитов, а в вопросе спрашивается сколько было просмотров страниц. И их было 1566.
Не понимаю, почему правильный ответ 416.

Юрий 28.08.2022 в 02:46
*behavior*
так не применяется.
Михаил 23.11.2020 в 23:12
Правильный ответ 332 или 416?
Юлия 10.06.2021 в 21:02

правильный 416
https://metrika.yandex.ru/stat/popular?period=2018-04-01%3A2018-04-30&accuracy=1&id=44147844&stateHash=5ff43082623e000024f356dd

Михаил 02.04.2022 в 21:07
По вашей ссылке, там другие данные.
Юрий 28.08.2022 в 02:44

если делать выборку по просмотрам https://metrica.yandex.com/about/info/behavior* https://metrika.yandex.ru/stat/entrance?period=2018-04-01%3A2018-04-30&accuracy=1&id=44147844&stateHash=630aaa73ad87b6002063c614 Здесь есть табличка, где описаны правила применения спецсимволов,
https://skr.sh/sFdtQ7Vcuie
https://yandex.ru/support/metrica/general/segmentation_report.html И если взять второй вариант @behavior , то получим ^
https://metrika.yandex.ru/stat/entrance?period=2018-04-01%3A2018-04-30&accuracy=1&id=44147844&stateHash=630aaba74951e200144da746
https://skr.sh/sFdEaJTBG2f Итог — в двух случаях совпадение : 1566. Почему же ответ правильный 416 ?

Георгий 11.09.2022 в 23:08

1566 просмотров получается потому, что считаются просмотры всех страниц в визитах, где просматривались url, содержащие behavior
А 416 — это просмотры конкретных страниц, содержащих behavior