Profesionál v oblasti SEO sa počas hangoutu spýtal Johna Muellera na ich súbor robots.txt. Obávali sa, že nepovolené stránky získavajú organickú návštevnosť.
Vysvetlili, že niektoré stránky zakázali, ale je možné, že Google tieto stránky v minulosti indexoval. Hoci zakázali indexové prehľadávanie, dodnes vidia, že tieto stránky získavajú organické relácie.
Prečo sa to deje? A ako to môžu opraviť?
Pýtali sa na smernicu noindex. Je to však správna cesta?
John vysvetlil, že ak toto sú stránky, ktoré nechcete indexovať, potom je použitie noindex lepšie ako použitie disallow v súbore robots.txt.
Noindex by bola metaznačka na stránke. A aby sa noindex fyzicky vyskytol, museli by ste povoliť indexové prehľadávanie cez súbor robots.txt.
To sa deje približne v čase 16:41 vo videu.
John Mueller prepis stretnutia
SEO Professional 4 16:41
Mám to. A to, čo hovoríte, je pravdepodobné – dôvodom je to, že vaše údaje sú obmedzené na stránky s popisom produktu. Takže limity sú prítomné. Dobre. A ďalšia otázka je, že v mojom súbore robots.txt som urobil to, že som zakázal niektoré stránky, určité stránky, ktoré boli zakázané, ale je celkom možné, že Google tieto stránky pravdepodobne v minulosti indexoval. A keď som ich zablokoval, zakázal som indexové prehľadávanie a dnes až do dnešného dňa, vidím, že chcú získať organické relácie. Prečo sa to deje a ako to môžem opraviť? Čítal som, že existuje niečo, čo sa nazýva direktíva noindex. Je to však správny spôsob? Alebo mám pokračovať v tomto…?
Jána 17:30
Ak sú to stránky, ktoré nechcete mať indexované, potom by bolo lepšie použiť noindex ako použiť disallow v súbore robots.txt. No index by však bola metaznačka na stránke. Ide teda o metaznačku robots bez indexu. A aby k tomu došlo, museli by ste povoliť plazenie.
SEO Professional 4 17:49
Dobre. Tak to musím v robote povoliť. txt, ale na tieto adresy URL by som musel pridať metaznačku noindex.
Ján 17:57
presne tak.
