База данных для поисковиков

Tikrim

Guest
База данных для поисковиков

Привет всем.

У меня вопрос
Какая должны быть база данных для крупных поисковых систем(типа Yandex, Rambler и т.д.)

Всем спасибо
 

icechel

Новичок
Прямо таки восхищаюсь демиургом )сори Д...( дает ответы по всем вопросам, а главное нужные. =)
 

Кром

Новичок
Tikrim
Если ты собрался создать крупный поисковик, mysql тебе вполне подойдет.
 

icechel

Новичок
Подойдет на начальном этапе. А потом надобно бы задуматься над систеой хранения данных за весь период.
 

icechel

Новичок
Это смотря какой конечный этыпю Если есть возражения - аргументируйте.
 

icechel

Новичок
ПОиск поапруй сдлеать на гугле (млять, единственное слов котооре смок нажать. )
 

Кром

Новичок
>ПОиск поапруй сдлеать на гугле (млять, единственное слов котооре смок нажать. )

icechel
Что с дикцией? Следующее слово, я так понимаю, будет "абырвалг"?
Нельзя ли выражаться более внятно?
 

HEm

Сетевой бобер
кнопки стерлись наверное, на память нажимает
или на клаву пиво пролил
 

Sad Spirit

мизантроп (Старожил PHPClub)
Команда форума
Автор оригинала: Кром
Tikrim
Если ты собрался создать крупный поисковик, mysql тебе вполне подойдет.
Слабо назвать хоть один "крупный поисковик", работающий на MySQL? :D
 

HEm

Сетевой бобер
кстати, на чем работают-то крупные?
вроде у спайлога мускул насколько я помню
 

Tikrim

Guest
Насколько я знаю для крупного поисковика, mysql не подойдет
 

Sad Spirit

мизантроп (Старожил PHPClub)
Команда форума
Автор оригинала: ONK
На сколько я слышал, google.com
:)
Источник этой байки --- начальник фирмы Sun. Причина, по которой он это прогнал, достаточно проста: основной доход фирма Sun получает от поставки серверов под Oracle. Поэтому продвигать OpenSource базы данных, которые с оным Oracle могут конкурировать, ему невыгодно. ;) Вот и продвигает MySQL. ;)

Вот цитатка [1], отражающая реальное положение вещей:
A customized version of MySQL is the only relational database used. It is *only* used for the AdWords service.
http://www.googleblog.ca/archives/000018.html
 

Sad Spirit

мизантроп (Старожил PHPClub)
Команда форума
Автор оригинала: HEm
кстати, на чем работают-то крупные?
вроде у спайлога мускул насколько я помню
Спайлог --- поисковик? :D

В Спайлоге мыскль используется именно для того, для чего он и предназначен: в нём хранят логи. Логов много, и если что-нибудь пропадёт --- не жалко. ;)
 

HEm

Сетевой бобер
уж и обобщить нельзя
думаю базы с этими логами не настолько уж сильно различаются по размерам и сложности от баз, содержащих контент Сети
 

Silent

Новичок
Для крупного поисковика и Оракл не подойдет. И вообще ничто не подойдет. Не нужны для поиска стандартные реляционные базы данных, потому что они предназначены для различных операций над различными данными. В то время как поисковику нужно выполнять всего одну операцию - получить данные по ключу. И для этого нет смысла использовать готовые продукты, лучше написать свою базу, но заточенную под эту конкретную операцию. А после получения данных поисковику нужно выполнить кучу специфических действий, для которых стандартная база опять таки плохо приспособлена. Во первых, индекс там сжат и его нужно распаковать, причем для сжатия используются специфические алгоритмы, вроде кодов Голомба, возможно дополненные разными хитростями, например сжатие по блокам, с отдельной индексацией блоков. Затем нужно получить пересечение (объединение) полученных списков (некоторые поисковики еще объединяют документы из одного домена), вычислить рейтинг страниц, отсортировать документы. И все эти операции опять таки пишутся и затачиваются под данную конкретную структуру данных, используемых поисковиком.

Впрочем, я не могу утверждать, что крупные поисковые системы вообще не используют готовые базы. Возможно они их используют для вторичных задач, например хранения и выдачи копий сохраненных страниц и т.п.
 

Sad Spirit

мизантроп (Старожил PHPClub)
Команда форума
Автор оригинала: HEm
уж и обобщить нельзя
думаю базы с этими логами не настолько уж сильно различаются по размерам и сложности от баз, содержащих контент Сети
нельзя.

и мусорное ведро, и холодильник предназначены для хранения. и лежит там в общем-то одно и то же --- продукты. ан нет, зачем-то ведь различаются.

Silent
Золотые слова.
 

Demiurg

Guest
А какой двигатель использовать для супер-современного истребителя ?
 
Сверху