HTTP_Request2 - как избежать загрузки больших страниц?

[Pilsen]

HTTP_Request2 - как избежать загрузки больших страниц?

Для парсинга страниц сайтов использую HTTP_Request2.

При работе экземпляра класса HTTP_Request2 на некоторых страницах (на очень больших страницах с кучей спама и миллионами ссылок) выскакивает
Fatal error: Allowed memory size of 130Мbytes exhausted (цифру указал примерно).

Как можно этого избежать? Отловить как-то или каким-то образом ограничить объем закачиваемых страниц. Объем памяти позволяет выделять и больше, чем 130м, но это не решение проблемы. Хочется как-то уберечься от таких Fatal error и такие сайты пропускать.

 

[Sad Spirit]

В любом случае --- цеплять Observer.

Если сервер отдаёт размер страницы, то можно сразу бросать исключение, если он больше заданного. Если не отдаёт --- бросать исключение когда придёт больше N мегабайт. Либо ставить store_body = false и сохранять страницы сразу на диск при помощи Observer'а, не заморачиваясь с памятью.

 

[Pilsen]

работает, супер!

спасибо за советы и за отличную библиотеку.