Как устроена поисковая система?

Поисковые роботы

Компьютерные роботы это простые программы, которые автоматизируют повторяющиеся задания со скоростью, превышающей человеческие возможности. Термин "bot", сокращение от "robot", в интернете обычно используется для описания чего-либо, что программно "общается" с пользователем или собирает данные.

Поисковые системы используют «пауков», которые ищут информацию в сети. Это программные комплексы, которые просматривают страницы в сети, как обычные пользователи. В дополнение к чтению содержания страниц для индексирования, пауки также записывают ссылки, для дальнейшего сканнирования.

Поисковые системы состоят из 3 основных частей. Поисковые пауки следуют ссылкам по сети, чтобы запрашивать страницы, которые еще не индексированы, или не были обновлены после последнего индексирования. Эти страницы листаются и добавляются в индекс поисковой машины. Если вы ищете что-либо, используя поисковую систему, вы на самом деле ищите не в сети, а в немного устаревшем индексе, который предоставляет собой информацию, скачанную из сети роботами поисковой системы.

Третья часть поискового устройства это поисковой интерфейс и программный комплекс, отвечающий за определение релевантности поискового запроса пользователя к содержимому индекса поисковой системы. Обычно, на каждый запрос пользователя поисковая система выполняет все или большинство следующих действий:

Получают введенный пользователем запрос, проверяя подходящий продвинутый синтаксис, и проверяют запрос на наличие ошибок, чтобы порекомендовать более популярные или правильные варианты написания.Проверяют, соответствует ли запрос другим вертикальным поисковым базам данных (как например, поиск новостей или продукции) и показывают соответствующие ссылки на предметы запроса около обычных результатов поиска.Собирают список соответствующих страниц для согласованных результатов поиска. Эти результаты выстраиваются в соответствии релевантности содержания страницы запросу пользователя, использованию данных и ссылкам данных цитирования.Запрашивают список релевантных рекламных объявлений для размещения около результатов поиска. Типы поисковых запросов

Андрей Бродер, автор "Таксономии сетевого поиска" отмечает, что большинство видов поиска можно разделить на 3 категории:

Информационный – поиск статичной информации на темуТранзакционный - пользователь хочет что-то купить, скачать, или иным образом взаимодействовать с результатами поискаНавигационный – направьте меня на нужную мне страницу в сети

Хотите научиться лучше искать информацию? Большинство новейших поисковиков предлагают:

Продвинутые страницы поиска, которые помогают корректировать запросы на новейшие или устаревшие, локальные или глобальные поиски, искать на конкретном домене, искать файлы определенных пользователем форматов.Вертикальные базы данных поиска, которые могут помочь сформировать информационный индекс или ограничить индекс поиска до более надежной или лучшей коллекции источников, документов и информации. Сайт Нэнси Блэчмен Google Guide, предлагает пользователям бесплатные советы по поиску в Google, а на сайте Грега Р.Ноттеса Search Engine Showdown можно ознакомиться со списком свойств и операторов языка запросов основных поисковых систем.

Так же, существует множество небольших, но популярных вертикальных поисковых сервисов. Например, популярный сервис социальных закладок Del.icio.us позволяет вам искать по тем страницам, которые были добавлены пользователями этого сервиса, а например Technorati позволяет осуществлять поиск по многочисленным блогам и дневникам.

На самом деле, современные поисковые системы стараются предоставлять своим пользователям весь спектр услуг и сервисов, связанных с поиском любой информации, которая может быть размещена в электронном виде. На сегодняшний день, вы можете искать в интернете практически все. Начиная от простой текстовой информации и новостей, и заканчивая видео и аудио файлами, электронными таблицами и даже снимками со спутников.

Прогресс не стоит на месте, и конкуренция между крупнейшими поисковыми порталами в борьбе за свою аудиторию, заставляет их разрабатывать и внедрять все новые и новые сервисы и услуги, делающие поиск не только быстрым и удобным для пользователя, но и делающие поиск действительно увлекательным и интересным занятием.

В следующей статье речь пойдет о первых поисковых машинах, которые появились в сети интернет.