Удобный анализ лог-файлов

Статистикой интересуются все. В том числе и той, что связана с Интернетом. С одной стороны, эта информация интересна тем, кто вкладывает в него (в сайты, технологии, ресурсы) деньги. С другой стороны, эта информация интересна и самим пользователям - к чему проявляется повышенный интерес, что нового, интересного появилось в Сети в последнее время. Но есть еще одна группа, для которой такая статистика требуется с совершенно иными целями. Это - руководители организаций и предприятий, сотрудники которых должны пользоваться Интернетом, но нежелательно, чтобы они пользовались им в личных целях.

Поэтому проблему, стоящую в заголовке статьи, постараемся рассмотреть в разрезе интересов последней группы. Как правило, доступ из локальной сети организации в Интернет осуществляется через единое подключение. Поэтому весь трафик проходит через одно-единственное подключение, и он может быть учтен. Для организации такого подключения используются различные аппаратные и программные решения. В небольших и средних организациях чаще всего применяют программные средства - так называемые прокси-серверы. С их помощью удается не только обеспечить единый доступ, но и минимизировать трафик за счет возможности кеширования данных и установки запретов на доступ к различного типа файлам (аудио, видео), а также получить отчеты по трафику.

Но все же прокси-серверы в первую очередь предназначены для выполнения своей основной задачи и лишь во вторую - для формирования отчетов. Для подготовки отчетов в удобном и красивом виде лучше использовать специализированные программы, одной из которых является программаInternet Access Monitor от компании Red Line Software. Разработчики позиционируют ее как программный продукт, предназначенный для осуществления контроля над эффективностью использования интернет-канала сотрудниками организации.

Программа совместима с большинством известных программных прокси-серверов (MS ISA Server, Squid, WinGate, UserGate, WinRoute и другие). Совместима в том плане, что может использовать данные лог-файлов, создаваемых этими серверами, для обработки и формирования различных отчетов. На основе этих данных вы легко сможете определить своих сотрудников, которые наиболее активно загружают интернет-канал, когда и что они скачивают, время, проводимое ими в Интернете, а также объем генерируемого ими трафика.

Анализ и построение отчетов начинаются с импорта данных из лог-файлов. Здесь сразу нужно отметить несколько моментов. При большом трафике и большом количестве пользователей логи прокси-серверов будут весьма большими. Поэтому в программе есть механизм, который будет следить за размером логов. Если этот механизм включен, то перед каждым импортом над лог-файлами будет осуществлена проверка времени модификации файла и, если он устарел, будет произведено одно из указанных в настройках действий - файл может быть удален, перемещен в другую папку, занесен в архив (что предпочтительнее).

Кроме управления логами программа обеспечивает и управление базой данных, которая также постоянно растет. Для уменьшения объема хранимых данных и увеличения скорости их обработки базу данных необходимо очищать от уже ненужной информации. Выполнить эту задачу можно с помощью специального инструментария, в котором можно определить либо диапазон дат, за который данные можно удалить, либо дату исходного лог-файла, данные их которого более не требуются. (Можно очистить и всю базу данных, если потребуется это сделать.) Второй возможностью снижения объема базы является назначение условий импорта. У каждой организации есть свои корпоративные сайты, сайты партнеров, дилеров, клиентов, которые сотрудникам приходится посещать по роду своей работы. Посещаемость таких сайтов можно и не рассматривать. Если эти сайты занести в фильтр, то этот трафик в базу данных импортироваться не будет. Еще больше можно сократить объем базы, если при импорте выполнять группировку данных. Группировка заключается в том, что все запросы, исходящие от одного и того же пользователя, с одного и того же IP-адреса на один и тот же сайт в течение указанного интервала группировки записей, будут объединены, а трафик по ним просуммирован.

При импорте данных из логов вы наверняка столкнетесь еще с одной проблемой - адреса сайтов, которые посещают сотрудники, в большинстве своем будет записаны не в привычной вам нотификации (например, softkey.info), а в виде IP-адресов. Понять, что скрывается за этими адресами, сложно. Поэтому в программе имеется механизм обратного преобразования IP-адресов в привычную нотификацию. Для его работы потребуется в настройках прописать адрес DNS-сервера, на который будут направляться запросы, и максимальное количество одновременно отправляемых запросов. Объем работы обычно весьма большой, поэтому задачу преобразования лучше всего запускать в то время, когда нагрузка на сеть наименьшая, например ночью.

После того как данные из лог-файлов будут импортированы, можно приступать к работе с ними. Есть два варианта - работа в режиме реального времени и работа с отчетами. Рассмотрим оба. Просмотр данных в реальном времени выполняется с помощью журнала. Это инструмент, с помощью которого можно на лету формировать различные выборки с помощью фильтров. Фильтры могут быть сложными, включающими множество условий. Так, можно создать фильтр, который будет показывать сотрудников, посещавших в определенный период сайты той или иной тематики. В общем же фильтры можно устанавливать по таким параметрам, как имя пользователя, IP-адрес компьютера, протокол, тип полученных данных, категория сайта, время и некоторые другие.

Кстати, о категориях сайтов. В программе имеется список категорий (чаты, образование, здоровье и другие), для которых предопределены базовые слова. В процессе импорта лог-файлов на основе текста пользовательского запроса происходит отнесение посещаемого пользователем хоста к той или иной категории (чат, новости, реклама и т. д.). Алгоритм распределения по категориям следующий: текст запроса поочередно сравнивается с каждым элементом списка "Категории хостов" и при первом совпадении одной из подстрок происходит отнесение запроса к соответствующей категории.

Журнал, конечно, очень удобный инструмент, но мало кто из руководства компании будет работать с фильтрами для поиска определенного сорта информации. Руководителю значительно удобнее работать с уже подготовленными отчетами, особенно если они представлены в графическом виде. И эта задача в программе решена. Отчеты - один из основных ее компонентов, результаты деятельности которых могут быть представлены как в самой программе, так и в виде сформированных файлов.

Отчет позволяет просмотреть информацию, сгруппированную по тому или иному аналитическому признаку за определенный период. Любой отчет состоит из типа отчета, интервала времени, объекта, по которому строится отчет, раздела. Формы отчетов можно формировать каждый раз заново, но можно использовать и шаблоны, которые создаются и сохраняются самостоятельно. Для формирования отчета нужно открыть соответствующую закладку и выбрать элементы, которые вас интересуют.

Нажав на клавишу F5 и подождав буквально несколько секунд, вы получите результат обработки данных. В отчете данные группируются по определенным, выбранным вами правилам. А для того чтобы получить развернутый результат, достаточно выбрать мышкой интересующий пункт отчета и, вызвав правой клавишей мыши контекстное меню, выбрать пункт "Детальный отчет". Таким образом можно просмотреть детализацию любой строки отчета. Кроме того, полученные данные можно отсортировать по любой колонке, как это вы делаете при работе с электронными таблицами, например в Excel.

В случае если отчет по определенным параметрам вы формируете постоянно, удобнее сформировать шаблон и сохранить его. Тогда при очередной подготовке данных вам достаточно будет выбрать его по названию и выполнить обработку. И что еще важно - такие подготовленные заранее шаблоны можно добавлять в планировщик и формировать их автоматически, по расписанию, хоть раз в неделю, хоть каждый час. Но отчеты все же для руководителей не очень удобны, поскольку это текстовая информация. Для руководства удобнее воспользоваться отчетами, представленными в графическом виде. Internet Access Monitor имеет встроенные средства для построения диаграмм, визуализирующих распределение трафика по различным параметрам. Построение диаграммы осуществляется на основе уже сформированного отчета. Для просмотра диаграмм необходимо выделить название любой секции отчета (например, "По дням недели") и, вызвав правой клавишей мыши контекстное меню, выбрать пункт "Диаграмма".

Отчеты можно формировать не только для администрации, но и для пользователей. Для каждого из них можно создать свой отчет с выборкой по данному пользователю и включить подготовку этих отчетов в планировщик. Сформированные отчеты можно сохранять в виде файлов (принцип формирования их названий, месторасположение файлов определяются через настройки), либо отчет можно отправить по электронной почте.

Немного о планировщике. Он несколько отличается от стандартного планировщика Windows, точнее, является его расширением (поэтому наличие стандартного планировщика на компьютере, где работает программа, обязательно). С помощью планировщика можно настроить автоматическое выполнение ряда задач, в том числе - импорт и загрузку лог-файлов, формирование отчетов (формирование и доставка получателю), преобразование IP-адресов, запуск внешних приложений и некоторые другие задачи.

Пожалуй, осталось сказать лишь о том, каким образом можно занести в справочник данные о пользователях. Вариантов два. При первом пользователи добавляются при импорте данных из лог-файлов. Добавленных пользователей удобнее разбивать на группы (например, по подразделениям). В этом случае отчеты можно будет формировать и в разрезе групп пользователей, и по пользователям в отдельности. Второй вариант заключается в импорте списков пользователей из Active Directory. В этом случае после импорта необходимо будет отобрать тех пользователей, которые должны попасть в отчеты программы (в Active Directory есть много служебных пользователей, по которым информация не требуется).

Вот и вся программа. Простая, легкая в установке и настройке, с удобным и понятным интерфейсом, обладающая большой скоростью обработки данных и настраиваемыми формами отчетов.

Программы в каталоге Softkey.ru:

  • Internet Access Monitor / Автор: Red Line Software

Ссылки по теме:

  • Компания Red Line Software
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (Пока оценок нет)
Загрузка...

Дата публикации:
Автор публикации: