Sparrow

Что такое Sparrow?
Sparrow — частный веб-робот, написанный на C++.

Что делает ваш робот на моем сайте? Индексирует контент?
Робот не индексирует ваши сайты, а лишь собирает различную статистику.
Например, о том, счетчики каких сервисов установлены у вас на сайте, на каком языке контент вашего сайта и пр.

Как запретить вашему роботу доступ к моему сайту?
Блокировать робота следует через .htaccess, т.к. Sparrow 1.0 не является индексирующим роботом и не поддерживает стандарт исключений последних.

Почему Sparrow не поддерживает стандарт исключений для роботов?
Как уже говорилось выше, Sparrow — не индексирующий робот, поэтому он не может следовать запретам индексации контента.
Также, в силу того, что робот как правило загружает только заглавную страницу вашего сайта, инструкции, данные в мета-тегах "robots", ничего не изменят. Это не позволяет реализовать поддержку стандарта, и чтобы запретить роботу посещать ваш сайт, используйте .htaccess

Как использовать .htaccess?
Например, так.

Где можно посмотреть результаты работы робота?
К сожалению, статистические данные, собранные роботом, пока недоступны для широкой общественности.
Если вы считаете, что они вам действительно необходимы, вы можете обратиться за ними, аргументировав свою потребность в этих данных.
Пожалуйста учитывайте, что один лишь факт вашего обращения не гарантирует предоставления вам требуемых данных.

Как определить робота в логах?
По заголовку User-Agent. У нашего робота он:
Sparrow/1.0 (+http://www.wisecat.ru/sparrow)