Робот Googlebot - это разработанная Google программа сканирования Интернета ("паук"). Сканирование - это процесс, в ходе которого робот Googlebot обнаруживает новые и обновленные страницы для добавления в индекс Google.

Мы используем огромную сеть компьютеров, чтобы извлечь (или "просканировать") содержание миллиардов веб-страниц. Робот Googlebot использует следующую алгоритмическую процедуру. Компьютерные программы определяют сайты, которые нужно сканировать, частоту сканирования и количество извлекаемых страниц на каждом сайте.

Самым правильным ответом был-бы такой: — Не-зна-ю !

В приведенном выше примере мы совершенно не учли фактор заказчика, а именно - тот простой факт, что заказчик сайта все-таки существует.
Именно поэтому во всех ценниках, приведенных на сайтах разработчиков большая доля лукавства. Да, есть цена на стандартное решение, а как вы им распорядитесь или подойдет ли оно вам - вот это в той цене, которую вы видите, не учитывается.

Дорвей (от англ. doorway — входная дверь, портал) или входная страница — вид поискового спама, веб-страница, специально оптимизированная под один или несколько поисковых запросов с целью её попадания на высокие места в результатах поиска по этим запросам и дальнейшего перенаправления посетителей на другой сайт или страницу.