История изменений robots.txt

В разделе отслеживается файл с инструкциями для поисковых роботов — файл robots.txt.

Функция отключаемая, так что при желании вы можете отключить ее в шапке страницы.

Файл проверяется на наличие правок и изменений что производились в нем.

В случае если документ будет удален то  статус ответа будет отличным от 200.

Если документ будет исправлен — то у нас будет сравнение то как файл выглядел до и после правок.