Ранее необходимо было в обязательном порядке правильно прописывать в файле robots.txt директиву host, что и мы рекомендовали своим клиентам при её отсутствии или некорректном указании. Но так как она не имеет значения для Google, а с 20.03.2018 и сам Яндекс в своем блоге анонсировал, что отказывается от этой директивы, при этом главным важным условием осталось то, что должен быть 301 постраничный редирект на всех существующих НЕ главных зеркалах вашего сайта.
Если вы по каким-то своим убеждениям решите по старинке оставить host в robots.txt или просто пока боитесь совершать такой шаг, в этом ничего страшного не будет, суть в том, что робот всего лишь будет её игнорировать, тоесть в этом случае она просто никакой роли играть не будет. Поэтому просто рекомендуем правильно прописывать то, что должно быть и не добавлять ничего лишнего.
Несмотря на это некоторые вебмастера умудряются даже в таком простом, но необходимом файле роботс проявить свою креативность и сделать его действительно уникальным. А загляните-ка в файл всеми известной компании Nike…
Не то чтобы мы ставим это как пример для подражания, просто вдохновляйтесь и будьте лучшими в своём деле.
