Plik robots.txt jest tworzony głównie przez twórców stron internetowych oraz pozycjonerów (jego obecność jest weryfikowana np. podczas audytu SEO) w celu ograniczania dostępu robotom wyszukiwarek internetowych (np. Google, Yahoo, Bing ).
Dlaczego robots.txt jest ważny?
Czyni go tym samym bardzo istotnym – nie chcemy bowiem, by taki robot wchodził nam, gdzie popadnie. I indeksował np. nasze prywatne pliki. O pliku tym pisałam już kilka lat temu na moim innym blogu. Umieściłam tam krótką instrukcję jak samodzielnie zrobić taki plik.
Dowiecie się w nim jak stworzyć taki plik bez dostępu do serwera FTP oraz dużej wiedzy. Niestety nie każdy czuje się na siłach, by w taki sposób stworzyć ten plik, dlatego zdecydowałam się wrócić do tematu. Tym razem przy stworzeniu pliku z pomocą przyjedzie nam wtyczka Yoast SEO.
Jak wygląda struktura pliku robots.txt?
Przykładowa zawartość pliku przedstawia się tak:
Disallow: /folder-który-ukrywamy/
Disallow: /plik-ktorego-niechcemy-pokazac.html
Allow: /folder-który-ukrywamy/pojedynczy-plik-ktory-pokazujemy.html zabroniony dostęp do folderu po /
Disallow: /folder-który-ukrywamy/ zabroniony dostęp do pliku po /
Disallow: /plik-ktorego-niechcemy-pokazac.html zezwalamy na dostęp do pliku po /
Allow: /folder-który-ukrywamy/pojedynczy-plik-ktory-pokazujemy.html Plik ten może posiadać także elementy takie jak:
blokuje wszystko
Disallow: / samo bez parametru daje dostęp do wszystkich plików
Disallow: Lokalizacje mapy strony (wpisz lokalizację swojej mapy):
Sitemap: https://www.aurainweb.pl/sitemap.xmlDlaczego roboty wyszukiwarek wchodzą do katalogów i z jakiego powodu należy tego zabraniać?
Roboty przeglądarek wchodzą do różnych katalogów w celu zaindeksowania plików. I tak, o ile zależy nam, by w indeksie znalazły się takie pliki jak grafiki czy np. pliki pdf, HTML. Tak niekoniecznie chcemy, by trafiły do niego niektóre pliki PHP. Szczególnie te zawierające prywatne dane jak np. połączenie z bazą danych.
W jaki sposób stworzyć plik robots.txt z pomocą Yoast SEO?
Na początek musimy mieć zainstalowana wtyczkę Yoast SEO – wykorzystywaną głównie do optymalizacji naszej strony pod wymogi SEO. Powyżej zamieściłam link jak dodać tę wtyczkę do WordPress oraz jak z niej korzystać.
Kiedy będziemy już mieli tę wtyczkę należy wejść w jej ustawienia
SEO -> Narzędzia.
Na stronie narzędzi znajduje się wiele ciekawych dodatków, nas jednak będzie interesował Edytor plików. Z jego pomocą można nie tylko utworzyć i edytować nasz plik, ale także wiele innych.
Po wejściu w Edytor plików będziemy mogli zobaczyć np. jak aktualnie wygląda nasz plik .hataccess. Jeśli chcecie dowiedzieć się czego o tym pliku polecam mój wcześniejszy wpis przejdziecie do niego klikając .hataccess
Poniżej zamieściłam obrazki ukazujące, jak ten plik prezentuje się u mnie:
Plik robots.txt tworzymy poprzez kliknięcie w przycisk Utwórz plik robots.txt. Po chwili pokaże się w miejscu przycisku nowe okno z przygotowaną już zawartością. Plik od razu napisany jest w taki sposób, by zabronić robotom wchodzić do katalogu wp-admin.
Na dobry początek taki plik powinien nam wystarczyć. Jeżeli jednak chcemy zabronić robotom wchodzić jeszcze w inne miejsca, musimy dodać je do pliku. Na koniec klikamy w przycisk Zapisz zmiany w pliku…
Jak zapewne już zauważyliście jest to dosyć proste narzędzie w obsłudze. Oszczędza nam z pewnością też czas w kwestii logowania się na serwer FTP.
Podsumowanie
Yoast Seo to nie jedyna wtyczka ułatwiająca tworzenie pliku robots.txt jest jednak jedną z popularniejszych. Dlatego warto o tym wspomnieć.
Macie własną opinię na ten temat lub znacie jakieś inne wtyczki, które warto polecić? Piszcie w komentarzu.
