Robots.txt – instrukcje dla SEO

Treść artykułu:
Aktualne artykuły:
12 способов повысить эффективность почтовой рассылки
12 sposobów na poprawę wydajności mailingu
Как избежать потери трафика при изменении CMS сайта
Jak uniknąć utraty ruchu przy zmianie strony CMS

Pierwszą rzeczą, która zaczyna się od wewnętrznej optymalizacji witryny, jest napisanie pliku robots.txt. Jeśli nie wiesz, o czym mówimy, koniecznie czytaj dalej, w przeciwnym razie ryzykujesz odtajnieniem wszystkich swoich danych osobowych i folderów.

Robots.txt to prosty dokument tekstowy, ale ze świetnymi funkcjami. Każdy seochnik musi posiadać umiejętności pisania najpopularniejszych dyrektyw. Aby to napisać, stosuje się kodowanie UTF-8 i FTP; roboty nie rozpoznają innych symboli ani nie interpretują ich nieprawidłowo. Dzięki temu dokumentowi roboty wyszukiwania wiedzą, co można indeksować, a co należy obchodzić. To z kolei zwiększa ranking wyników wyszukiwania. Ale instrukcje opisane w robocie działają tylko na hoście, na którym się znajduje. Później porozmawiamy o zasadach tworzenia.

Robots.txt - instrukcje dla SEO

Zasada działania

Zanim przejdziemy do instrukcji bezpośrednich, dowiemy się, w jaki sposób pomoże Twojej stronie. Aby to zrobić, przejdź do wyszukiwarek.

Algorytmy wyszukiwarek wykonują:

  • szukając nowych informacji, omijając Internet;
  • skanowanie przesłanych informacji w celu ułatwienia wyszukiwania wyników.

Dzięki nazwom domen wyszukiwarki mają możliwość odwiedzenia wszystkich zasobów internetowych (a to ogromna liczba linków). Zaraz po przybyciu bot wyszukuje plik robots.txt i dopiero po jego przeczytaniu przechodzi do dalszych badań witryny, zgodnie z ustalonymi zasadami. Jeśli ten plik istnieje, skaner rozumie, co można przetwarzać i co można z nimi zrobić. W przeciwnym razie skanowane są tylko wszystkie informacje.

  • Używaj tylko rejestru „robots.txt”, bez wielkich liter!
  • Należy pamiętać, że niektóre roboty mogą zignorować istniejący dokument, dlatego nie należy używać go do ukrywania bardzo wrażliwych danych.
  • Rozmiar pliku nie powinien przekraczać 500 KB.

Najczęstszym pytaniem dla nowicjuszy SEO jest „Co mogę ukryć?” Odpowiedź jest prosta – cokolwiek! Ale seoshniki zwykle ukrywają nie unikalne teksty, linki do zewnętrznych zasobów internetowych itp. Oczywiście lepiej jest używać wyłącznie unikatowych treści, ale nie zawsze jest to możliwe (przepisy, dokumentacja prawna itp.). Ale jeśli zindeksujesz te informacje, ocena znacznie spadnie. W takim przypadku musisz je ukryć.

Robots.txt - instrukcje dla SEO

Jak stworzyć?

Proces tworzenia jest całkowicie prosty, ponieważ jest to tylko dokument tekstowy znajdujący się w katalogu głównym. Tworzy się go za pomocą prostego menedżera plików, którego programista używa do pracy ze stroną internetową. Ale główna trudność polega nie na stworzeniu, ale na wypełnieniu dokumentu. Wskazuje 3 podstawowe instrukcje:

  • Disallow – zakaz pełnego skanowania;
  • Allow – wolno skanować całą zawartość;
  • częściowy dostęp tam, gdzie określone pliki są zabronione. Może istnieć nieograniczona liczba, najważniejsze jest, aby zacząć za każdym razem od nowej linii.

Używane są również inne kodowania, między innymi:

  • User-Agent – aby wskazać konkretnego bota, który może indeksować;
  • # – używany do pisania komentarza do określonego wiersza. Wszystko napisane po symbolu # nie będzie brane pod uwagę.
  • Host – wskazuje główne lustro strony. Ale ostatnio nie trzeba tego wskazywać. Więcej informacji tutaj.
  • Crawl-delay – ogranicza szybkość sprawdzania witryny. Działa w przypadkach, w których zasób ma bardzo wysoką frekwencję, a roboty tworzą niepotrzebne obciążenie i hamują system.
  • Sitemap – aby wskazać lokalizację mapy witryny;
  • Clean-param – walczy z powielaniem tekstów, zdjęć i filmów.
  • * – oznacza dyrektywę dla każdej wyszukiwarki;
  • $ – koniec linii.

User-Agent/Disallow koniecznie oddzielone łańcuchem bez znaków, ale nie w przypadku końcowej dyrektywy Disallow. Pamiętaj, że w katalogach i nazwach rozróżniana jest wielkość liter, a „name”, „Name” i „NAME” będą traktowane jako osobne katalogi.

Pamiętaj, że zakaz dotyczy tylko wyszukiwarki wymienionej w tym bloku.

Robots.txt - instrukcje dla SEO

Co jest lepsze niż noindex lub robots.txt?

Na to pytanie nie można dokładnie odpowiedzieć, ponieważ są one używane w różnych przypadkach. Na przykład, jeśli nie chcesz indeksować tej strony, użyj noindex w metatagu. Oznacza to, że w sekcji napisz metatag:

<meta name=”robots” content=”noindex, follow”>

Teraz nie musisz ręcznie usuwać strony za pomocą Webmastera, ponieważ sama jest usuwana ze skanowania podczas kolejnego skanowania.

Robots.txt z kolei bardziej niezawodnie ukrywa panel administracyjny przed indeksem, wynikami wyszukiwania i sekcjami z danymi osobowymi (rejestracja i odzyskiwanie hasła i loginu)

Robots.txt - instrukcje dla SEO

Czy warto sprawdzać błędy?

Zdecydowanie tak! Ponieważ mogłeś się pomylić i przypadkowo narzucić zakaz niewłaściwej grupie stron. A to doprowadzi do nieprzyjemnych konsekwencji.

Dlatego natychmiast po napisaniu upewnij się, że nie ma literówek. Zastosuj:

  • Webmasterzy Google Wymaga autoryzacji i potwierdzenia własności witryny. Pozwala:
    • natychmiast wykrywa wszystkie istniejące błędy;
    • natychmiast popraw pliki, sprawdź ponownie, a następnie przenieś je do swojego zasobu;
    • sprawdź, czy poprawnie poprawnie zamknąłeś / otworzyłeś wszystkie niezbędne dyrektywy.
  • Yandex Webmaster. Nie wymaga autoryzacji i potwierdzenia własności zasobu internetowego. Oszczędza czas i pozwala natychmiast ustawić wszystkie strony, a nie na przemian, a także sprawdza, czy Yandex zrozumie wszystkie instrukcje. Reszta jest podobna do poprzedniej.
Robots.txt - instrukcje dla SEO

Dlaczego nie działa?

Zdarza się, że nawet po sprawdzeniu i wykonaniu wszystkich zaleceń robot nie działa. Jaki jest powód?

  • Sprawdź, czy przypadkowo zablokowałeś dodatkowy folder, a nawet cały zasób sieciowy (dzieje się tak również przez zaniedbanie);
  • Sprawdź przez webmastera, być może wyszukiwarki nie mogą ponownie zindeksować zasobu;
  • Sprawdź, czy pod banem nie ma żadnych zewnętrznych linków do strony. W przeciwnym razie żaden zakaz nie pomoże.
  • Nie spiesz się, a przed pierwszym uruchomieniem wykonaj wszystkie opisane powyżej manipulacje, aby zaoszczędzić czas w przyszłości.
  • Pamiętaj, że żadna ochrona nie może zagwarantować absolutnego sukcesu. Wszędzie są przerwy zapłonu.

I wreszcie, jeśli sam boisz się zrobić coś złego, natychmiast zwróć się do profesjonalistów. Będą w stanie szybko rozwiązać każdy problem, a nawet mu zapobiec. Przeczytaj nasz blog, prawdopodobnie znajdziesz w nim wiele nowych i pouczających informacji. Na wszystkie pozostałe pytania chętnie odpowiemy osobiście. Powiązany artykuł: Przekierowanie 301 – najbardziej wszechstronny przewodnik .

Brak ocen
Loading...

Komentarze i ocena wywiadu

Zacznijmy rozmowę!

Specjalizacje

Nasze kompetencje
Tworzymy projekty od podstaw, a także przeprojektowujemy i tworzymy witryny, z których chcielibyście więcej.
Robimy świetną promocję Google.
Zareklamuj witrynę swojej firmy w wynikach wyszukiwania Google
Wiemy, jak zwiększyć ruch lub świadomość marki za pośrednictwem platformy społecznościowej.

Możesz być zainteresowany

Контентное SEO
Treść SEO
how-to-direct-your-creative-spirit-in-the-right-direction
Jak skierować kreatywnego ducha we właściwym kierunku?
Как «ухватить читателя за яйца» в Инстаграм?
Jak „złapać czytelnika za jaja” na Instagramie?
Robots.txt — инструкция для SEO
Robots.txt – instrukcje dla SEO

Chcesz uzyskać ciekawe artykuły?

zapisz się na nasz blog
14
abonenci
1224
abonenci
Zamów połączenie