ускорить работу скрипта

[vornold]

В общем парсю свой собственный сайт на html, хочу в БД все перегнать
Есть список ключей - 203 штуки и есть 30000 записей.
Написал скрипт, чтоб прогонял каждый ключ по этим 30000 записям и при совпадении заносил в базу.
Выходит очень долго, за час прогоняется около 90000, то есть три ключа.
До этого делал наоборот, каждую запись прогонял по 203 ключей и если были совпадения загонял в базу под категорию ключа, но проблемы с добавлением картинок возникли.

Вот код
http://fpaste.org/41193/97551911/

 

[ksnk]

итого, выдергиваем для каждого из ~200 ключей все 30к записей? Запросом к серверу?
Если "перевернуть" логику и на каждую запись проверять все ключи - запросов к серверу станет в 200 раз меньше.

 

[vornold]

Сперва было так. Но у картинок было бешенное число типа img25000.jpg у меня максимум для каждой модели 500 штук.
все имеют вид xxx1.jpg, xxx2.jpg... xxx500.jpg

http://fpaste.org/41187/13797498/

 

[ksnk]

Ну и заведи массив индексов фотографий. Для каждого ключа - свой индекс.

 

[vornold]

там 203 модельки.
Ладно индекс для каждой модельки можно перебором сделать. А как сделать так, чтоб к каждой определенной модельке прибавлялась единичка.

А то на данный момент получается следующее:

motorola1.jpg
nokia2.jpg
acer3.jpg
motorola4.jpg
acer5.jpg

Нужно:
motorola1.jpg
nokia1.jpg
acer1.jpg
motorola2.jpg
acer2.jpg

направьте на путь истинный господа

 

[vornold]

не писать же для всех 203 позиций отдельную строчку

 

[Redjik]

то есть мы теперь реально верим, что человек по http парсит СВОЙ сайт???

 

[vornold]

Ну да. Могу по секрету в личку ссылочку скинуть. Сперва по файлам думал, но личная неприязнь ко всем этим fopenam.

 

[Redjik]

а file_get_contents по твоему как работает?

 

[флоппик]

Его это сайт, его. Redjik, прокачивай аналитический скилл.
Я вот например еще и знаю, что автор - веган.

 

[vornold]

Ну вопрос же не в этом, парсю свой сайт, если не веришь могу предоставить ссылку и здесь отписаться, чтоб таких же сомнительных меньше было
Если по существу, то нужна помощь по поводу картинок, о которых выше писал.

 

[vornold]

Ага. Молоток. Все верно.

 

[Redjik]

Его это сайт, его. Redjik, прокачивай аналитический скилл.
Я вот например еще и знаю, что автор - веган.

O_O
Холмс, как вы это делаете?

 

[флоппик]

O_O
Холмс, как вы это делаете?

pastebin -> Закомментированный код -> ссылка на сайт -> разработка сайтов -> другие сайты -> аватарка... и т.д.

 

[vornold]

Можно было через google img все узнать
Ладно дальше думаю как быть.

 

[vornold]

Ура все доперло.
Если интересно, чуть позже отпишу.

 

[ksnk]

не писать же для всех 203 позиций отдельную строчку

А что такое массивы известно? Как проверить, есть индекс в массиве или нет, нужно объяснять?

 

[vornold]

А что такое массивы известно? Как проверить, есть индекс в массиве или нет, нужно объяснять?

Ура все доперло.

 

[vornold]

http://fpaste.org/41239/77959713/
все сделал. Теперь возник вопрос: почему в базу добавляется только 600 записей , после чего следующие 600 статей не парсятся и начиная с 1200 снова начинает работать?