Установка и настройка SARG для анализа логов SQUID на CentOS
Приложение SARG для представления статистики посещений сайтов в графическом интерфейсе требует веб-сервера. В данной инструкции мы установим и настроим как сам SARG, так и веб-сервер на основе NGINX. Прокси-сервер SQUID устанавливается по инструкции Установка и настройка Squid на CentOS.
Установка и запуск SARG
Установка
В отличие от Debian / Ubuntu, в репозиториях CentOS программное обеспечение SARG отсутствует — установку будет производить из исходников.
Устанавливаем пакеты необходимые для сборки пакета из исходников:
Скачиваем последнюю версию исходников:
wget https://sourceforge.net/projects/sarg/files/latest/download -O sarg.tar.gz
Распаковываем скачанный архив:
tar zxvf sarg.tar.gz
И переходим в распакованный каталог:
Конфигурируем исходные файлы:
. и устанавливаем его:
Настройка и запуск
Открываем конфигурационный файл sarg:
Снимаем комментарии для следующих настроек:
.
access_log /var/log/squid/access.log
.
output_dir /usr/share/nginx/html/squid-reports
.
date_format e
.
overwrite_report yes
filename.n+1
.
- access_log — путь до логов squid. Если мы не меняли настройки для самого прокси-сервера, то задаем значение/var/log/squid/access.log.
- output_dir — каталог, в котором будут находиться html-отчеты. Это должен быть каталог, из которого веб-сервер будет читать файлы портала. Так как в нашем примере мы будет использовать NGINX, мы указали путь, начинающийся с /usr/share/nginx/html, так как именно в этой директории по умолчанию находятся файлы NGINX.
- date_format — формат даты. В данном примере мы выбрали европейский.
- overwrite_report — перезаписывать отчеты, которые уже были сформированы ранее.
- filename.n+1 — при формировании отчета за один и тот же день, прибавлять к названию файла 1.
Запускаем формирование отчета:
Система проверить корректность настройки в конфигурационном файле SARG и сформирует html-отчет в папке, указанной в опции output_dir (в нашем примере, /usr/share/nginx/html/squid-reports).
Веб-сервер
Как говорилось ранее, для просмотра отчетов в графическом интерфейсе нам нужен веб-сервер. Для его развертывания, сначала ставим репозиторий EPEL:
yum install epel-release
После ставим nginx:
Разрешаем автозапуск nginx и стартуем сервис:
systemctl enable nginx
systemctl start nginx
Открываем 80 порт в брандмауэре:
firewall-cmd —permanent —add-port=80/tcp
При необходимости просмотра статистики по https также добавим правило:
firewall-cmd —permanent —add-port=443/tcp
Открываем браузер и переходим по адресу http:// /squid-reports/ — должна открыться стартовая страница со списком дат:
Чтобы просмотреть список посещенных сайтов и израсходованного трафика, переходим к нужной нам дате и выберем пользователя, для которого нужно получить статистику. Идентификация пользователей в sarg зависит от идентификации в squid — если проверка не выполняется, то в качестве идентификаторов будут фигурировать IP-адреса.
Автоматическое формирование отчетов
Для формирования новых отчетов необходимо каждый раз запускать команду sarg -x. Чтобы автоматизировать процесс, добавим задание в планировщик Linux.
Открываем на редактирование cron:
0 0 * * * /usr/local/bin/sarg -x
* в данном примере мы будем запускать формирование отчета каждый день в 00:00.
Немного об альтернативе
Помимо SARG, для SQUID существуют другие анализаторы логов. Они имеют схожие принципы работы — консольный запуск анализа и формирования html-отчетов, и предоставление доступа к статистики посредством веб-интерфейса.
Наиболее популярные альтернативы SARG:
1. Lightsquid. Легкий парсер логов, использующий для анализа журналов скрипты, написанные на perl. Также
2. Free-SA. Изначально, планировался как замена другим устаревающим анализаторам логов прокси-сервера, но сам проект уже давно не обновлялся. Имеет интерфейс, схожий с sarg.
3. SAMS. В большей степени, это приложение для управления прокси-сервером SQUID, однако в нем предусмотрена также функция сбора статистики посещений сайтов. Подробнее об установке в инструкции Установка и настройка SAMS2 на CentOS.
4. Calamaris. Еще один парсер журналов с хорошей статистикой по нагрузке на прокси.
Записки IT специалиста
Технический блог специалистов ООО»Интерфейс»
SARG — анализируем логи прокси-севера Squid
Одним из насущных вопросов для системного администратора является получение статистики использования интернета в организации. Располагая такими данными всегда можно ответить на вопрос руководства «куда ушел весь интернет», обосновать необходимость расширения канала, своевременно выявлять и пресекать нежелательный трафик. Сегодня мы рассмотрим такое решение для нашего роутера на платформе Ubuntu Server.
Основной интересующий нас тип траффика — HTTP, который составляет львиную долю входящего интернет-трафика в организации и наиболее интересен, так как позволяет судить об активности и предпочтениях пользователей (а также о том, как они проводят рабочее время). Все необходимые нам данные имеются в логах прокси-сервера Squid, но не будем же мы просматривать их вручную! Необходим инструмент, позволяющий анализировать и предоставлять отчеты на основе этих логов. Одним из таких инструментов является SARG — Squid Analysis Report Generator, что и отражено в его названии.
Приступим. Прежде чем браться за установку SARG необходимо подготовить сервер, данная утилита выдает отчеты в формате HTML и для работы с ними потребуется установленный веб-сервер. Если вы не собираетесь использовать роутер в качестве полноценного веб-сервера, то будет вполне достаточно легкого сервера lighttpd:
Сервер начинает работать сразу после установки, для проверки наберите в браузере адрес сервера и вы увидите стандартную страницу. По умолчанию lighttpd принимает соединения на всех интерфейсах, что нас никоим образом не устраивает, ограничим его работу внутренней сетью. Открываем конфигурационный файл /etc/lighttpd/lighttpd.conf, находим и приводим к следующему виду опцию:
где 10.0.0.1 — внутренний адрес роутера, также не забудьте раскомментировать эту строку и перезагрузить веб-сервер:
Настройка анализатора логов довольно проста и сводится к выбору языка, кодировки и формата отчета, а также пути для его размещения. Все изменения вносим в файл /etc/sarg/sarg.conf:
Также находим и комментируем строку:
Теперь можем проверить работу анализатора:
После того как утилита закончит работу набираем в браузере http://10.0.0.1/squid-reports, вы должны увидеть следующую страницу:
По умолчанию SARG формирует отчет за весь доступный период, отчет содержит детализацию по пользователям (адресам) и посещенным ими сайтам, использованию трафика и кэша, загрузкам. Отдельно можно просмотреть наиболее посещаемые сайты, данный отчет сортирует сайты не по трафику, а по количеству посещений.
По каждому пользователю можно получить исчерпывающую статистику:
Можно также просмотреть график потребления трафика и статистику работы по датам и времени.
Если есть желание, можете настроить отображение отчетов по собственному вкусу, конфигурация SARG использует для задания параметров вывода отчетов стандартные HTML теги и неплохо документирована. Если вы владеете HTML на базовом уровне, эта операция не должна вызвать у вас затруднений.
Анализатор настроен и работает, это хорошо. Но запускать его каждый раз вручную не очень интересно, поэтому настроим систему на получение ежедневных, еженедельных и ежемесячных отчетов. Для этого откроем файл /etc/sarg/sarg-reports.conf и укажем путь для размещения отчетов, а также адрес и ссылку для логотипа.
Учтите, что изображение логотипа должно находиться в пределах корневой папки веб-сервера (/var/www) и пути указываются от корня веб-сервера, а не файловой системы.
Теперь зададим расписание для формирования отчетов, которое необходимо добавить в /etc/crontab
Данное расписание означает, что каждый час с 9:00 до 18:00 (рабочий день организации) запускается скрипт формирования ежедневной статистики, каждый день в 22:00 формируется статистка за день, в 22:30 Воскресенья — статистка за неделю и первого числа каждого месяца в 23:30 статистика за месяц.
Squid для самых маленьких. Часть 3 Статистика
Каждый, кто поднимает проксю, потом хочет смотреть кто её пользуется, кто сколько качает. И иногда бывает очень полезным просмотр в режиме реального времени, кто что качает. В данном топике будут рассмотрены следующие программы:
SqStat — Real Time статистика через web
Sarg — Анализатор логов Squid с последующей генерации HTML
SquidView — Интерактивный консольный монитор логов Squid
0. Введение
Я не буду здесь рассказывать как настроить Apache. В инете и так много мануалов на эту тему, так что вперед и с песней, я буду рассказывать про те фичи, которые внедрял у себя.
Да, рассказывать буду на примере Debian Etch, у вас могут отличаться пути, имейте ввиду…
Поехали…
1. SquidView
Данная программа работает в консоли, и выводит там же все что делает Squid.
Установка:
aptitude install squidview
Подождем пару секунд, если у вас быстрый интернет. Все, теперь мы можем смотреть кто, что качает. Если у вы не меняли расположение логов, и оставили большинство параметров squid дефолтными, то для просмотра необходимо только запустить его, но с правами root’а, потомучто логи сквида пишутся им…
Я думаю что этого вполне хватит вам, но также сообщу очень полезные вещи, нужно нажимать кнопки, и смотреть:
- h — помощь, здесь мы можем узнат ь еще больше 😉
- l — enter — генерация отчета, вы также можете настроить дополнительные настройки
- T — начинется учет статистики по размеру скачиваемого
- O — просмотре кто чё качал по юзерам, после T
По SquidView вроде бы все, если что нибудь не до рассказал, пишиите, добавлю!
2. SqStat
Это скрипт который позволяет смотреть активные соединения, загрузку канала, и среднюю загрузку канала.
Я предполагаю что у вас уже настроен апач.
Скачиваем последнюю версию,
wget -c samm.kiev.ua/sqstat/sqstat-1.20.tar.gz
tar xvfz sqstat-1.20.tar.gz
cd ./sqstat-1.20
mkdir /var/www/squid-stat
cp -R * /var/www/squid-stat*
Всё, теперь нам необходимо настроить Squid-cgi или cachemgr.cgi, Ставим:
aptitude install squid-cgi
Теперь необходимо настраивать доступ…
nano /etc/squid/squid.conf
Добавляем
acl manager proto cache_object
http_access allow manager localhost
http_access deny manager
#Данная строка задает пароль secret и разрешает делать все
cachemgr_passwd secret all
Сейчас необходимо поправить /etc/squid/cachemgr.conf
echo «*» >> /etc/squid/cachemgr.conf
Вместо * можете поставить адрес сетевой которую прослушивает squid
У меня почему то не получилось завести при адресе 127.0.0.1 и ввел 192.168.0.1 и все заработало. теперь вам необходимо ввести в поле Cache Host адрес внещней сетевой. Порт какой у вас стоит, в поле логин, если вы делали всё по мануалу, можно ничего не водить, и в поле пароля пишем secret. Если всё прошло удачно, то вы увмидете список доступных параметров… Можете посмотреть, а мы переходим к настройке SqStat…
nano /var/www/squid-stat/config.inc.php
//Это адрес на котором слушает ваш сквид
$squidhost[0]=»192.168.0.1″;
$squidport[0]=3128;
$cachemgr_passwd[0]=»secret»;
//Этот параметр разрешает резолвить имена записями в ващей системе
$resolveip[0]=false;
//В этом файле содержится айпи и имена кмопьютеров, можно использовать кирилицу 🙂
$hosts_file[0]=»hosts»;
$group_by[0]=»host»;
В принципе, сам конфиг хорошо документирован, изучайте, благо там изучать нечего ))
Теперь делаем поддомен, так намного удобнее)
nano /etc/apache2/sites-enabled/sqstat
ServerAdmin squid@gmail.com
DocumentRoot /var/www/squid-stat/
ServerName proxy.server.local
Для резолвинга пишем в /etc/hosts
nano /etc/hosts
192.168.0.1 proxy.server.local
Вот и всё 🙂 почти все
squid -k reconfigure
/etc/init.d/apache2 reload
3. Sarg
Эта программа генерирует html отчеты, риcует графики, и тд…
Ставим:
aptitude install sarg
nano /etc/squid/sarg.conf
language Russian_koi8
graphs yes
title «Squid User Access Reports»
temporary_dir /tmp
output_dir /var/www/sarg
max_elapsed 28800000
charset Koi8-r
Kонечно же никто Вам не запрещает поизгаляться над стилем отображения всего этого хозяйства — конфиг снабжён очень подробными комментариями.
crontab -u root -e
* 08-18/1 * * * /usr/sbin/sarg-reports today
* 00 * * * /usr/sbin/sarg-reports daily
* 01 * * 1 /usr/sbin/sarg-reports weekly
* 02 1 * * /usr/sbin/sarg-reports monthly
Эпилог
Всё :)) Если хотите, можете создать и для него поддомен! Это уже описано…
Сам я пользуюсь всеми тремя программами и доволен.
UPD. Для решения проблемы со скивдом 3-ей версии неоходимо сделать мягкую ссылку:
ln -s /var/log/squid3/access.log /root/.squidview/log1
UPD.2. В следующей статье будет идти разговор о delay pools
Кросспост из моего блога