Google presne diskutuje o tom, do akej miery sledujú súbory Robots.txt

Počas hangoutu odoslaného segmentu otázok a odpovedí sa odborník na SEO opýtal Johna Muellera na súbory robots.txt.

Ich otázka znela: Do akej miery Google rešpektuje súbor robots.txt? Pracujú na novej verzii svojho webu, ktorý je momentálne zablokovaný prostredníctvom súboru robots.txt.

Majú v úmysle použiť súbor robots.txt na blokovanie indexovania niektorých adries URL, ktoré sú dôležité pre použiteľnosť, ale nie pre vyhľadávače.

Takže chcú pochopiť, že robiť to je v poriadku.

John odpovedal, že je to úplne v poriadku.

Keď Google rozpozná nepovolené položky v súbore robots.txt, bude ich bezpodmienečne nasledovať. John videl jediný prípad, keď to nefungovalo, keď neboli schopní správne spracovať súbor robots.txt.

Ak však Google dokáže správne spracovať súbor robots.txt, ak je správne naformátovaný, potom sa toho bude Google pri indexovom prehľadávaní absolútne držať.

Ďalšou výhradou je, že zvyčajne aktualizujú súbory robots.txt, možno raz denne, v závislosti od webovej stránky.

Ak teraz zmenia svoj súbor robots.txt, môže trvať približne deň, kým sa prejaví v súvislosti s blokovaním alebo prehľadávaním webových stránok.

Povedal, že odborník na SEO spomenul blokovanie a indexovanie, ale v podstate súbor robots.txt blokuje prehľadávanie. Ak ste teda zablokovali prehľadávanie stránok, ktoré sú dôležité pre použiteľnosť, ale nie pre vyhľadávače, zvyčajne je to v poriadku.

Mohlo by sa stať, že Google by mohol indexovať adresu URL bez obsahu. Ak teda zadáte dotaz na stránky pre tieto konkrétne adresy URL, stále sa vám to zobrazí.

Čítať:  Aktualizácia algoritmu Google v piatok 7.5.2024

Ak sa však obsah nachádza na vašich indexovo prehľadávateľných stránkach, potom sa pri akomkoľvek bežnom dopyte, ktorý ľudia zadávajú pri vyhľadávaní výrazu, bude môcť Google zamerať na stránky, ktoré sú skutočne indexované a indexovo prehľadávané, a zobrazí ich v Výsledky vyhľadávania.

Z tohto pohľadu je to všetko v poriadku.

To sa deje približne v čase 42:34 vo videu.

John Mueller prepis stretnutia

Ján (Predložená otázka) 42:34
Do akej miery Google rešpektuje súbor robots.txt? Pracujem na novej verzii mojej webovej stránky, ktorá je momentálne zablokovaná súborom robots.txt. A mám v úmysle použiť súbor robots.txt na blokovanie indexovania niektorých adries URL, ktoré sú dôležité pre použiteľnosť, ale nie pre vyhľadávače. Chcem teda pochopiť, že je to v poriadku.

Ján (odpoveď) 42:52
To je úplne v poriadku. Takže keď rozpoznáme zakázané položky v súbore robots.txt, budeme ich bezpodmienečne dodržiavať. Jediný druh situácie, ktorý som videl, keď to nefungovalo, je, že sme nedokázali správne spracovať súbor robots.txt. Ale ak dokážeme správne spracovať súbor robots.txt, ak je správne naformátovaný, potom sa toho pri indexovom prehľadávaní budeme úplne držať. Ďalšou výhradou je, že zvyčajne aktualizujeme súbory robots.txt, možno raz denne, v závislosti od webovej stránky.

Ak teda teraz zmeníte súbor robots.txt, môže trvať deň, kým sa prejaví. Čo sa týka blokovania, prehľadávania, tak ste spomenuli blokovanie, indexovanie, ale v podstate roboty. txt by blokovalo indexové prehľadávanie. Ak ste teda zablokovali prehľadávanie stránok, ktoré sú dôležité pre použiteľnosť, ale nie pre vyhľadávače, zvyčajne je to v poriadku. Čo by sa stalo alebo by sa mohlo stať, je, že by sme indexovali URL bez obsahu.

Čítať:  Google vysvetľuje, prečo sa čísla v Search Console nesčítavajú

Ak teda zadáte dotaz na stránky pre tieto konkrétne adresy URL, stále sa vám to zobrazí. Ak sa však obsah nachádza na vašich stránkach, ktoré je možné indexovo prehľadávať, potom sa v prípade akéhokoľvek bežného dopytu, ktorý ľudia zadajú, keď na vašich stránkach hľadajú konkrétny výraz, budeme môcť zamerať na stránky, ktoré sú skutočne indexované a indexovo prehľadávané, a zobraziť ich v výsledky vyhľadávania. Takže z tohto pohľadu je všetko v poriadku.

Nové Publikácie:

ODPORÚČANIE