Всем привет!

Вопрос такой. Разрабатываем портал. Страниц намечается порядка полмиллиона. Популярных из них порядка 10 000, остальные - старые, непопулярные и т.д.

Соответственно, кеш ограничен, будет содержать порядка 50 000 страниц. Кеш: EHCache, работающий в связке с Hibernate (вернее, с ним работаем Hibernate). Работает кеш по принципу - когда пришли новые данные - прибить самые старые.

Так вот, если гугл и другие пауки будут лазить по сайту, они будут вытаскивать старые данные, вытесняя из кеша новые и популярные.

В итоге пользователям придется заново "разогревать" кеш, запрашивая популярные страницы, которые будут уже незакешированные, из-за чего все будет тормозить, пока пользователи все не прогрузят.

Так вот, подскажите, как сделать так, чтобы гугл, яндекс и прочие роботы не прибивали данные из кеша?

Leonid KudryavtsevIMHO Выключить не актуальные страницы из поиска, что бы поисковые роботы их не просматривали
Не очень гуд. Люди могут на них приходить с гугла, если они в теме запроса, а дальше уже с этой страницы переходить на главную или другие разделы.
Есть еще какие-нибудь методы?

забыл никДопилить кэш - учитывать популярность при вытеснении
Слишком сложно. Хибернейт работает с кешом изнутри....
Возможно, есть другие способы?

Leonid Kudryavtsev1. Ну идет обращение к каким-то страницам из поискового движка. Ну и что? Это нагрузка на уровне еще 1-2 пользователей. Если такая нагрузка создает _существенные_ проблемы в производительности (все тормозит) - это насколько же медленно работает сайт и насколько криво он написан. Подозреваю, что проблема с производительностью будет и без гугла, если сайтом реально будут пользоваться и нагрузка будет возрастет.
Да не в этом дело. Нагрузка в пару пользователей вообще не проблема. Сайт высоконагружен. Убиение кеша при индексации гуглом (замена популярных данных на непопулярные) означает большой поток пользователей мимо кеша, из-за чего все сильно просядет в производительности.

Leonid Kudryavtsev2. IMHO, _точно_ не знаю, но если поисковый движок не полные идиоты писали, он не должен индексировать страницы которые не менялись. Т.ч. читать доку по поисковым движкам, проставлять нормальные заголовки страницы, возвращать корректный HTTP-ответ.
Ну... Дело в том, что справа идет новостная лента. Плюс информация о самых просматриваемых материалах и последних комментариях пользователей. Поэтому у нас все страницы на сайте меняются. Если отдавать заголовки для кеширования, то браузеры будут брать страницы со старой датой, и пользователи не увидят ни ленту с актуальными новостями, ни популярные материалы, ни информация о последних комментариях, так как все браузер возьмет из кеша...

забыл никПроверяй User-Agent при доступе к страницам, если гугл и тп - пусть идет мимо кэша, но по-моему кэш допилить проще
А где можно узнать, какие значения в User-Agent'е и прочих заголовках http-реквестов проставляют автоматически роботы (гугл, яндекс и прочие)?

grasoff.netв гугле ж )
или это неочевидно - написать в поиске google user-agent и получить сразу же
http://seo.yandeg.ru/articles/?p=user_agents
Дело в том, что я не знал, только user-agent оставляют за собой эти роботы, или по каким-то еще признакам можно определить... Судя из Вашей ссылки, только юзер-агенты да диапазон ай-пи адресов... Погуглю еще, спасибо.

[quot Leonid Kudryavtsev]Vetalпропущено...
IMHO Если сайт высоконагружен - то запросы пользователей должны быстрее забивать кэш "хорошими" страницами и выбивать страницы поисковика, чем поисковик "плохими". Проблема может быть только в том случае, если поисковик полностью выбивает кэш.

А роботы идут одним потоком? Если одним, то ок, действительно. А вот если они запускают кучу параллельных потоков, вот э
то уже плохо... С другой стороны, если бы так было, все сайты, не поддерживающие хорошие нагрузку, померли бы при индексации...

Leonid KudryavtsevИли проблема выдумана или действительно кэш и производительность реализованы через одно место, но тогда и без поисковика будет ж...а.
Говорю ж, сайт еще только разрабатывается, пытаюсь предусмотреть этот риск. Суда по-всему, его действительно нет, и проблема надумана...