Имя модуля

Назначение

Модули HTML:: находятся в близкой связи с LWP, но не распространяются в составе этого пакета. Они предназначены для анализа HTML-кода. На них основаны рецепты 20.3-20.7, программы htmlsub и hrefsub.

В рецепте 20.12 приведено регулярное выражение для декодирования полей в файлах журналов Web-сервера, а также показано, как интерпретировать эти поля. Мы используем это регулярное выражение с модулем Logfile::Apache в рецепте 20.13, чтобы продемонстрировать два подхода к обобщению данных в журналах Web-серверов.

20.1. Выборка URL из сценария Perl

Проблема

Требуется обратиться из сценария по некоторому URL.

Решение

Воспользуйтесь функцией get модуля LWP::Simple от CPAN, входящего в LWP.

use LWP: Simple, Scontent = get($URL);

20.1. Выборка URL из сценария Perl 705

Комментарий

Правильный выбор библиотек заметно упрощает работу. Модули LWP идеально подходят для поставленной задачи.

Функция get модуля LWP::Simple в случае ощибки возвращает undef, поэтому ошибки следует проверять так;

use LWP Simple,

unless (defined ($content = get $URL)) { die could not get $URL\n ,

Однако в этом случае вы не сможете определить причину ошибки. В этой и других нетривиальных ситуациях возможностей LWP::Simple оказывается недостаточно.

В примере 20.1 приведена программа выборки документа по URL. Если попытка оказывается неудачной, программа выводит строку с кодом ошибки. В противном случае печатается название документа и количество строк в его содержимом. Мы используем четыре модуля от LWP.

LWP::UserAgent

Модуль создает виртуальный броузер. Объект, полученный при вызове конструктора new, используется для дальнейших запросов. Мы задаем для своего агента имя «Schmozilla/v9.14 Platinum*, чтобы Web-мастер мучился от зависти при просмотре журнала.

HTTP:: Request

Модуль создает запрос, но не отправляет его. Мы создаем запрос GET и присваиваем фиктивный URL для запрашивающей страницы.

HTTP:: Response

Тип объекта, возвращаемый при фактическом выполнении запроса пользовательским объектом. Проверяется на предмет ошибок и для получения искомого содержимого.

URI::Heuristic

Занятный маленький модуль использует Netscape-подобные алгоритмы для расширения частичных URL. Например:

Частичный URL Предположение

perl littp: www.pcrl.com www.oreilly.com littp: www.oreilly.com ftp.funet.fi ftp: ftp.funet.fi /etc/passwd file:/ctc/passwd

Хотя строки в лево.м столбце не являются правильными URL (их формат не отвечает спецификации URI), Netscape пытается угадать, каким URL они соответствуют. То же самое делают и многие другие броузеры.

Исходный текст программы приведен в примере 20.1.

Пример 20.1. titlebytes

#!/usr/bin/perl -w

tt titlebytes - определение названия и размера документа use LWP::UserAgent; use HTTP::Request; use HTTP::Response; use URI::Heuristic;

my $raw url = shift or die "usage: $0 url\n";

my $url = URI::Heuristic: :uf urlstr($raw url);

$1=1; tt Немедленный вывод следующей строки

printf "%s =>\n\t", $url;

my Sua = LWP::UserAgent->new();

$ua->agent("Schmozilla/v9.14 Platinum");

my $req = HTTP::Request->new(GET => $url);

$req->referer("http: wizard,yellowbrick.oz");

tt Чтобы озадачить программы анализа журнала my Sresponse = $ua->request($req); if ($response->is error()) {

printf " %s\n", $response->status line; } else {

my Scount;

my Sbytes;

my Scontent = $response->content();

Sbytes = length Scontent;

Scount = (Scontent =- tr/\n/\n/);

printf "%s (%d lines, %d bytes)\n", Sresponse->title(), Scount, Sbytes; }

Программа выдает результаты следующего вида:

% titlebytes http: www.tpj.com/ http; www,tpj.com/ =>

The Perl Journal (109 lines, 4530 bytes)

Обратите внимание: вместо правильного английского refer re г используется вариант написания referer. Ошибка была допущена разработчиками стандарта при выборе имени HTTP REFERER.

О Смотри также-

Документация по модулю LWP:;Simple с CPAN и страница руководства Iwpcook(l), прилагаемая к LWP; документация по модулям LWP::UserAgent, HTTP::Request, HTTP::Response и URI:;Heuristic; рецепт 20.2.

20.2. Автоматизация подачи формы

Проблема

Вы хотите передать сценарию CGI значения полей формы из своей программы.

Решение

Если значения передаются методом GET, создайте URL и закодируйте форму методом query form: