Владимир, хотите тему для заметки, непустую и актуальную? Напишите про Всечитающего Робота. На других сайтах "этой твари в помине нет". Отчего здесь она завелась и благоденствует? Даже если вы не знаете, всё-таки ваше мнение будет более профессиональным и весомым что ли, чем среднее по палате ) Напишите.
Поиско́вый ро́бот («веб-пау́к», краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц Интернета с целью занесения информации о них в базу данных поисковика. По принципу действия паук напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.
Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются алгоритмами информационного поиска.
В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.
Также многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для индексирования. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается практически единственной возможностью указать на его существование. Ещё одним способом быстрой индексации сайта является добавление на сайт систем веб-аналитики, принадлежащих поисковым сервисам. Например, таких как Google Analytics, Яндекс.Метрика и Рейтинг@Mail.ru от Google, Яндекса и Mail.Ru соответственно.
Ограничить индексацию сайта можно с помощью файла robots.txt. Полная защита от индексации может быть обеспечена другими механизмами, например установкой пароля на странице либо требованием заполнить регистрационную форму перед тем, как получить доступ к содержимому.
Полностью поддерживаю автора Владимир Яремчук. Когда все остальные научатся писать заметки по-яремчуковски, перестанут жаловаться на свою судьбу на сайте и прекратят копипастить всякую чушь, уровень "Фабулы" достигнет высот.
Хватит уже говорить о том, что хватит писать пустые заметки. Все равно никто не хватится. А если хватится, то так схватит, что это передастся и сам побежишь хвататься и писать пустые заметки.
Честно сказано, открыто! Я бы даже сказал - с определённой ненавистью сказано, мстительностью, что ли... 
