t> Смотри также-

Документация но модулю LWP::RobotUA(3) с CPAN; описание правил хорошего тона для роботов по адресу http: info.webcrawler.com/mak/projects/robots/ robot.html.

20.12. Анализ файла журнала Web-сервера

Проблема

Вы хотите извлечь из файла журнала Web-сервера лишь интересующую вас информацию.

Решение

Разберите содержимое файла журнала следующим образом:

while (<LOGFILE>) {

my (Sclient, Sidentuser, Sauthuser, Sdate, Stime, Stz, Smethod,

Surl, Sprotocol, Sstatus, Sbytes) = /"(\S+) (\S+) (\S+) \[([-.]+):(\d+:\d+:\d+) ([-\]]+) (\S+) (.*?) (\S+)

(\S+) (\S+)S/; # ...

Комментарий

Приведенное выше регулярное выражение разбирает записи формата Common Log Format - неформального стандарта, которого придерживается большинство Web-серверов. Поля имеют следующий смысл:

Disallow: /wais-src Disallow: /scripts Disallow: /config

Более интересный и содержательный пример находится по адресу http: www.cnn.com/robots.txt. Этот файл настолько велик, что его даже держат под контролем RCS!

% GET http: www.cnn,com/robots.txt head

# robots, scram

# $1 d : robots.txt,V 1,2 1998/03/10 18:27:01 mreed Exp $ User-agent; *

Disallow: / I

User-agent: Mo2illa/3.01 (hotwired-test/O.1)

Disallow: /cgi-bin Disallow: /TRANSCRIPTS Disallow: /development

client

IP-адрес или имя домена для броузера, identuser

Результаты команды IDENT (RFC 1413), если она использовалась, authuser

Имя пользователя при аутентификации по схеме «имя/пароль», date

Дата поступления запроса (01/Маг/1997). time

Время поступления запроса (12:55:36). tz

Часовой пояс (-0700). method

Метод запроса: GET, POST, PUT. url

Запрашиваемый URL (/-user/index.html). protocol

HTTP/1.0 или HTTP/1.1, status

Возвращаемый статус (200 - все в порядке, 500 - ошибка сервера), bytes

Количество возвращаемых байт (может быть равно для ошибок, перенаправлений и операций, не сопровождаемых пересылкой докуме]1та).

В другие форматы также включаются данные о внешней ссылке и агенте. Ценой минимальных изменений можно заставить этот шаблон работать с другим форматом журнала. Обратите внимание: пробелы в URL не оформляются служебными символами. Это означает, что для извлечения URL нельзя использовать \S* - . * заставит регулярное выражение совпасть с целой строкой, а затем возвращаться до тех пор, пока не будет найдено соответствие для остатка шаблона. Мы используем . *? и фиксируем шаблон в конце строки с помощью $, чтобы механизм поиска не устанавливал совпадения и последователь-нб добавлял символы до тех пор, пока не будет найдено совпадение для всего шаблона.

> Смотри также-

Спецификация CLF по адресу http: www.w3.org/Daemon/User/Config/ Logging.html.

# Ускорить копирование за счет создания синонимов

# глобальных переменных вида *typeglob sub summary {

Slastdate = "Grand Total"; ♦count = *suracount;

20.13. Обработка серверных журналов

Проблема

Требуется обобщить данные в серверном журнале, но у вас нет специальной программы с возможностью настройки параметров.

Решение

Анализируйте журнал с помощью регулярных выражений или воспользуйтесь модулями Logfile с CPAN.

Комментарий

в примере 20.9 приведен образец reiieparopa отчетов для журнала Apache. Пример 20.9. sumwww

#!/usr/bin/perl -w

# sumwww - обобщение данных об операциях Web-сервера

$lastdate = daily logs(); summaryO; exit;

« Читать файлы CLF и запоминать обращения с хоста и на URL sub daily logs { while (О) {

(Stype, Swhat) = /(GETlPOST)\s+(\S+?) \S+7 or next;

(Shost, undef, undef, Sdatetime) = split;

(Sbytes) = /\s(\d+)\s*$/ or next;

(Sdate) = (Sdatetime =~ /\[([":])/);

Sposts += (Stype eq POST);

Shome++ if m, / ,;

if (Sdate ne Slastdate) {

if (Slastdate) { write report() }

else { Slastdate = Sdate }

Scount++; Shosts{Shost}++; Swhat{Swhat}++; Sbytesum += Sbytes;

write report() if Scount;