[Nikitian]

До дна. Главное, чтобы это дно было доступно без авторизации (для гугля можно и с авторизацией сделать) и сервер отвечал быстро. Не сразу, но в конечном приближении всё проиндексирует.