Есть сайт, на котором установлена фотогалерея Image

После загрузки на сайт нескольких тысяч фотографий заметил, что количество операций ввода/вывода на сервере выросло сразу на 300 000 в неделю. Посещаемость сайта не изменилась, пользователи не стали массово смотреть фотоархив (смотрел на статистику).

Возник законный вопрос - кто грузит сервер таким интересным образом.

Разгадка была самая трифиальная - поисковики, а в особенности Яндекс. Goggle и Yahoo глотали фотоархив (каждая фотография представлена отдельной фотографией с возможностью оценки и коментирования) по немного каждый день - два. Яндекс разом выгружал по 2-3 тысячи страниц

Избавился тривиальным образом - запретил индексировать фотографии, разрешив индексацию только страниц с миниатюрами (миниатюра + название фотографии для каждой фотки). нагрузка мгновенно уменьшилась.

Из минусов -  из поиска исчезли оригиналы и предпросмотры фотографий с комментариями. Если это не существенно - запрещайте индексировать фотографии, оставляя возможность индексации страниц фотоальбома с предпросмотрами.

Дополнительно советую вырубить из поиска дубль страниц (версия для печати и пересылка на мыло)

Код такой

# Фотографии и версии для печати
Disallow: /image/
Disallow: /print/
Disallow: /printmail/