Как работает аналитическая система

 

В цифровую эпоху всё измеряется. Интернет тоже не стал исключением. С помощью аналитических систем легко узнать, сколько было посетителей в течение суток, какие страницы они просмотрели и что конкретно пользователи делали на веб-сайте. Благодаря большому количеству критериев анализа сайта (свыше тридцати), несложно сформировать портрет типичного представителя целевой аудитории коммерческого веб-ресурса: демография, интересы и др. В конечном итоге, наличие точных данных о корпоративном сайте способствует успешному развитию интернет-ресурса, делая его более информативным, удобным, юзабельным для корпоративных клиентов и частных заказчиков.

 

 

Как работают системы веб-аналитики

 

Системы веб-аналитики осуществляют сбор данных касательно посещаемости, выполняют оценку качества работы функционала и определяют эффективность онлайн-сервисов. Аналитические веб-сервисы имеют одинаковое строение, различаясь в скорости обработки информации, в специальных возможностях и графических интерфейсах.

 

Из чего состоят системы веб-аналитики?

• Счётчик – это программный код для каждой интернет-страницы. Когда происходят заданные действия (например, загрузка веб-страницы, нажатие кнопки, переходы по внутренним ссылкам и т.д.) от счётчика поступает информация для дальнейшей обработки в системе управления базами данных (СУБД).
• СУБД – здесь происходит систематизация и обработка полученных данных.
• Графический интерфейс – переработанные и систематизированные сведения предоставляются по запросу пользователей в удобном виде (отчёты, таблицы, объёмные диаграммы, цветные графики, схемы, карты и др.).

 

С 2009 года миллионы веб-мастеров и собственников интернет-ресурсов пользуются метрикой. Это действительно полезный инструмент, с помощью которого моментально обрабатываются террабайты данных и создаются в онлайн-режиме эффективные отчёты.

 

По аналогии с другими аналитическими системами здесь применяются базовые термины:

• «Посетитель» – интернет-пользователь, посетивший сайт из поисковой выдачи, с соцсети, из контекстной рекламы или через ссылку на других интернет-ресурсах. В браузере каждого посетителя записывается специальная метка (уникальный идентификатор).
• «Просмотр» – первоначальное или последующее обращение посетителя к функционалу сайту (например, просмотр новых страниц или обновление текущих). 
• «Визит» – единичный сеанс взаимодействия отдельного пользователя с функционалом интернет-сайта.

 

 

Как происходит сбор данных

 

После того, как очередной посетитель заходит на корпоративный сайт, в его браузер загружается код. Одновременно отправляется информация касательно текущего визитёра. Все данные передаются в обезличенном виде (статистическая информация, не привязанная к конкретному человеку). В течение всего визита сведения о действиях пользователя собирается и одновременно отправляется в аналитическую систему.

 

Например, когда пользователь заходит на очередную страницу веб-сайта, счётчик Метрики фиксирует просмотр. Счётчик способен запомнить любые действия пользователя: прокрутка страниц вниз, клики по кнопкам, переходы по ссылкам, регистрация в специальной форме, заказ услуги или товара и, даже, движение мыши. Чтобы узнать всё это, посетите специальный раздел ВебВизор. Если просмотр сайта продолжается свыше 15 сек, аналитическая система получает соответствующее сообщение. Все просмотры менее 15 сек. считаются отказами. С помощью критерия «Процент отказов» собираются данные о тех посетителях, которые попали на сайт случайным образом или не проявили интерес к корпоративной информации.

 

 

Как создаются отчёты о посещаемости

 

Система обладает обширной базой, где сохраняется вся информация о посетителях сайта. На её основе формируются детальные отчёты по различным критериям анализа: временные, демографические, географические и др. Чтобы оценить результаты поискового продвижения, достаточно окинуть взглядом сведения общего характера: прирост количества посетителей, глубина просмотра, время проведённое на сайте, источники переходов и т.д.

 

Все отчетные данные доступны для анализа в любое время: аналитическая система моментально извлекает информацию из СУБД и формирует результат по заданным критериям (временной промежуток или конкретная дата; демография, география и коммерческие интересы; источники трафика; содержание и поведение; технологии).

 

 

Как выполняется хранение и обработка данных

 

С 2012 года аналитическая система обладает собственной СУБД – ClickHouse. По запросу пользователей в считанные секунды составляются подробные отчёты любой сложности и с любой структурой вывода информации. Подготовка данных по аналитической отчётности осуществляется двумя способами:

1. На основе предварительно собранной статистической информации предоставляется ограниченный набор отчетных данных.
2. Собранные данные хранятся в системе в необработанном виде, а все вычисления производятся в процессе загрузки очередного отчета.

 

В  системе используется СУБД столбцового типа, которая идеально обрабатывает аналитические запросы. В ClickHouse статистические данные размещены в нескольких таблицах, где горизонтальных строках находятся события, а в столбцах содержится информация о параметрах событий. Благодаря подобной структуре многократно увеличивается число параметров и сохранятся производительность вычислительных операций. Количество выполняемой работы можно оценить по следующим цифрам (октябрь 2015 года):

• Объём данных в аналитической системе – 10 650 000 000 000 строк (только для интернет-сайтов).
• В самой большой таблице насчитывается 349 столбцов.
• В среднем в течение одной секунды в ClickHouse поступает порядка двух тысяч запросов.
• Максимальная скорость обработки информация достигает 2 ТБ в секунду.

 

Благодаря созданию ClickHouse заметно снизились издержки для хранения и обработки огромных массивов статистической информации. За счёт использования СУБД столбцового типа собранные данные легко и эффективно сжимаются, экономя место на физических носителях. Обработка информации по столбцам способствует рациональному использованию аппаратных ресурсов. Новые сведения добавляются в таблицы в онлайн-режиме. Аналитическая система ClickHouse нашла успешное применение и по другим направлениям: контекстная реклама, корпоративная бизнес-аналитика, система мониторинга работы высокопроизводительных серверов и рабочих станций.