Jul
05

Как и почему запретить ботам сканировать ваш сайт?
Когда наверняка вы хотите сделать большую часть контента вашего ценного интернет-сайта как можно более лёгкой для сканирования поисковыми роботами, то в некоторых случаях вы захотите заблокировать вредных "ботов".