сабж.

Задача:
- бот парсит сайт.
блочили по ip
ботоделы поумнели и пошли валить из-под проксей.

полностью рубануть всех роботов не того, ибо можно ненароком прибить и гуглобота или яндексбота.

яндекс дал рецепт как определить его ли бот, если тот признается , что бот.

но в то же время заверили, что у них есть боты, которые не будут признаваться.

застрял.

вопрос:
как срубить левых ботов , но при этом не зацепить "правильных"?
определять "налету" дороговато.
цель - не давать парсить контент сайта, или кормить боту хлам вместо контента, не покалечив дизайн сайта/пользователей, дав скачивать нормальные страницы для индексации поисковикам.

Спасибо!
были похожие идеи, но часть мыслей в голову не приходило.
спасибо большое!