Robots.txt failas yra tekstinis failas kuri žiniatinklio valdytojai sukuria siekiant nurodyti paieškos robotams, kaip nuskaityti svetainės puslapius savo svetainėje. Robots.txt failas yra robotų išskyrimo protokolo (REP), žiniatinklio standartų grupės, reguliuojančios, kaip robotai nuskaito žiniatinklį, pasiekia ir indeksuoja turinį ir aptarnauja tą turinį vartotojams. REP taip pat apima direktyvas, pvz., meta robotus, taip pat puslapių, pakatalogių ar visos svetainės instrukcijas, kaip paieškos sistemos turėtų traktuoti nuorodas (pvz., “follow” arba “nofollow”).
Interneto svetainės robots.txt failas
- Paskelbta SEO optimizavimas, Visi svetainės straipsniai
- Paskelbta Svetainės SEO, Visi svetainės straipsniai