Зачем эта информация нужна вам Если вы являетесь владельцем сайта, и у вас установлен механизм, собирающий информацию о ваших посетителях, в эти данные попадет и информация о посетивших ваш проект роботах. Вы будете в курсе, какие роботы и когда вас посещали и какие страницы просматривали, поверьте — это не менее интересно чем играть в популярные онлайн игры.

Индекс

Огромный объем информации, размещенной в Интернете, приводит к разрастанию Индекса. С некоторой долей приближения информацию можно разделить на две категории — условно постоянную и переменную. К переменной информации можно отнести публикации информационных изданий и аналогичных сервисов, записи в блогах, предложения онлайновых магазинов, иные сервисы, где информация меняется с большой частотой.

Обработка быстроменяющейся информации потребовала иного подхода. Были разработаны новые технологии и алгоритмы, новые базы и поисковые роботы. Каждой отдельной базе соответствовал собственный Идекс. Поисковые базы были разработаны для поиска по словарям и энциклопедиям, по каталогу сайтов, по предложениям интернет-магазинов, новостям и блогам.

Но какие бы новые технологии ни создавались, какими бы совершенными ни становились технические средства, объем накапливаемой информации заставляет наращивать вычислительные мощности. Если первый Индекс размещался на обычном компьютере, стоявшем в буквальном смысле в ногах у разработчика, то теперь для размещения аппаратных средств построены специальные помещения, оборудованные всем необходимым для обеспечения непрерывной работы. А компьютер, положивший начало поисковой системе, теперь находится на выставке раритетов Яндекса. Далее >>