20.2. Автоматизация подачи формы 707

use LWP::Simple; use URI::URL;

my $url = url(http: www.perl,com/cgi-bin/cpan mod); $url->query form(module => OB File, readme => 1); $content = get($url);

Если вы используете метод POST, создайте собственного пользовательского агента и закодируйте содержимое:

use HTTP::Request::Common qw(POST); use LWP::UserAgent;

Sua = LWP::UserAgent->new();

my $req = POST http: www.perl.com/cgi-bin/cpan mod,

[ module => "DB File", readme => 1 ]; Scontent = $ua->request(Sreq)->as string;

Комментарий

Для простых операций хватает процедурного интерфейса модуля LWP::Simple. Для менее тривиальных ситуаций модуль LWP::UserAgent предоставляет объект виртуального броузера, работа с которым осуществляется посредством вызова методов.

Строка запроса имеет следующий формат:

П0ЛЕ1=ЗНАЧЕНИЕ1&П0ЛЕ2=ЗНАЧЕНИЕ2&П0ЛЕЗ=ЗНАЧЕНИЕЗ

в запросах GET информация кодируется в запрашиваемом URL:

http; www.site, com/path/to/

script.cgi?field1=value1&field2=value2&field3=value3

Служебные символы в полях должны быть соответствующим образом преобразованы, поэтому присваивание параметру arg строки "this isnt <EASY> and <FUN>" выглядит так:

http: www. site, com/path/to/

script.cgi?arg=%22this+isn%27t+%3CEASY%3E+%26+%3CFUN%3E%22

Метод query form, вызываемый для объекта URL, оформляет служебные символы формы за вас. Кроме того, можно вызвать URI: : Escape: : uri escape или CGI:esGape html по собственной инициативе. В запросах POST строка параметров входит в тело HTML-документа, передаваемого сценарию CGL

Для передачц да1нных в запросе GET можно использовать модуль LWP::Simle, однако для запросов POST не существует аналогичного интерфейса LWP::Simple. Вместо этого функция POST модуля HTTP::Request::Common создает правильно отформатированный запрос с оформлением всех служебных символов.

Если запрос должен проходить через прокси-сервер, сконструируйте своего пользовательского агента и прикажите ему использовать прокси:

Sua->proxy([http, ftp] => http: proxy.myorg.com:8081);

Комментарий

Модуль HTML:;LinkExtor можно использовать двумя способами; либо вызвать links для получения списка всех URL в документе после его полного разбора, либо передать ссылку на функцию в первом аргументе new. Указанная функция будет вызываться для каждого URL, найденного во время разбора документа.

Метод links очищает список ссылок, поэтому для каждого анализируемого документа он вызывается лишь один раз. Метод возвращает ссылку на массив элементов. Каждый элемент сам по себе представляет ссылку на массив, в начале которого находится объект HTML::Element, а далее следует список нар «имя атрибута/значение». Например, для следующего HTML-фрагмента:

<А HREF="http: www.perl.com/">Home page</A>

<IMG SRC="images/big.gif" LOWSRC="images/big-lowres.gif">

возвращается структура данных:

Это означает, что запросы HTTP и FTP для данного пользовательского агента должны маршрутизироваться через прокси на порте 8081 по адресу jo/ox. myorg.com.

[> Смотри также-

Документация по модулям LWP::Simple, LWP::UserAgent, HTTP;:Reqnest::Com-mon, URI::Escape и URI::URL с CPAN; рецепт 20.1.

20.3. Извлечение URL

Проблема

Требуется извлечь все URL из HTML-файла.

Решение

Воспользуйтесь модулем HTML;LinkExtor из LWP: use HTML::LinkExtor;

Sparser = HTML::LinkExtor->new(undef, $base url); Sparser->parse file(Sfilename); ©links = Sparser->links: foreach Slinkarray (©links) { my ©element = ©Slinkarray:

my $elt type = shift ©element; # Тип элемента

# Проверить, тот ли это элемент, который нас интересует while (©element) {

# Извлечь следующий атрибут и его значение

ту (Sattr name, $attr value) = splice(©element. О, 2);

# .,. Сделать что-то ...

20.3. Извлечение URL 709

[ а, href => "http: www.perl.com/" ], [ img, src =>"images/big.gif",

lowsrc => "images/big-lowres.gif" ]

В следующем фрагменте демонстрируется пример использования $elt type и $attr name:

if ($elt type eq a && $attr name eq href) { print "ANCHOR: $attr value\n"

if $attr value->scheme =~ /httpftp/;

if ($elt type eq img && $attr name eq src) { print "IMAGE: $attr value\n";

Программа из примера 20.2 получает в качестве аргументов URL (например, file: /tmp/testing.html или http: www.ora.com/) и выдает в стандартный вывод отсортированный по алфавиту список уникальных ссылок из него.

Пример 20.2. xurl

#!/usr/bin/perl -w

# xurl - получение отсортированного списка ссылок с URL use HTML::LinkExtor: use LWP::Simple;

$base url = shift;

Sparser = HTML::LinkExtor->new(undef, Sbase url); Sparser->parse(get(Sbase url))->eof; ©links = Sparser->links; foreach Slinkarray (©links) { my ©element = ©Slinkarray; my $elt type = shift ©element; while (©element) {

my ($attr name , Sattr value) = splice(©element, 0, 2); Sseen{Sattr valuei++;

for (sort keys %seen) { print S , "\n" }

У программы xurl имеется существенный недостаток: если в get или $base url используется перенаправление, все ссылки будут рассматриваться для исходного, а не для перенаправленного URL. Возможное решение: получите документ с помощью LWP::UserAgent и проанализируйте код ответа, чтобы узнать, произошло ли перенаправление. Определив URL после перенаправления (если он есть), конструируйте объект HTML::LinkExtor.

Примерный результат выглядит так:

%xurl http: www,perl.com/CPAN

ftp: ftp@ftp.perl.com/CPAN/CPAN.html