увеличить время выполнения скрипта (автоматический парсинг сайта)

Статус
В этой теме нельзя размещать новые ответы.

ilma55

Новичок
Всем привет.

задача:
нужно получить все телефоны с сайта. кпримеру, запускаю скрипт и ложусь спать, так как ссылок очень много.

решено:

все по отдельности сделал. то есть скрипт получает телефоны.
я копирую ссылки и уже переходя по ссылкам я получаю телефоны.
но это если по отдельности запускать файлы:
get_links.php - получает все ссылки
get_phones.php - получает телефон переходя по ссылке

проблема:
ссылок ооооооооочень много.
и во время работы мне выходят сообщения об ошибке, что превышено время выполнения скрипта, mysql сервер gone away, 403 ошибка (бан)

что можно сделать , чтоб избезжать эти ошибки ?
как заставить скрипт работать автоматически?

я кликаю по кнопке " получить все ссылки" и аяксом запуускаю php файл, а в это время мне крутится лоадер.
затем после удачного выполнения скрипта мне появляется кнопка "получить все телефоны" , и при клике на нее я аяксом запускаю php файл, который получает телефоны.

для избежания бана я использую curl подставляя разные заголовки user_agent
 

AmdY

Пью пиво
Команда форума
Тема закрыта

Варез, взлом, кража контента и другие противоправные действия запрещены к обсуждению на форуме.
 
Статус
В этой теме нельзя размещать новые ответы.
Сверху