
По моим наблюдениям определённые сайты очень быстро входят в индекс, другие же, наоборот, с огромным трудом удается туда загнать. Обычно очень помогает регистрация в социальных закладках или же покупка какой-то трастовой ссылки.
Был проведен небольшой анализ и замечено, что проблемы в основном появляются при вбросе в индекс сразу большого количества страниц, а не постепенного их добавления. Из личного опыта могу сказать, что сайты постепенно обновляющий свой контент и равномерно добавляющие новые страницы робот посещает значительно чаще и новые страницы фактически моментально попадают в индекс.
Вот довольно простая схема для быстрого попадания вашего сайта в индекс:
Определяем на сайте категории, которые периодически обновляются.
Запускаем RSS.
Добавляем ее FeedBurner.
Заводим аккаунт в Twitter. На данный момент эта отличная площадка для маркетинга и добавления ссылок, а как итог и ускорение индексации.
Настраиваем кросспостинг RSS в Twitter.
Записи с вашего сайта будут в течение получаса попадать в ваш аккаунт на твиттере.
Итак, когда вы будете добавлять новый материал на сайте, он будет попадать в RSS канал, потом в feedburner с пингом крупных поисковых систем и дальше в Twitter. Поисковые системы сразу же заметят появление нового контента и незамедлительно его проиндексируют, конечно, если он более-менее качественен и уникален.