Interneto svetainės robots.txt failas

Jūsų interneto svetainės robots.txt failas yra galingas įrankis dirbant su svetainės SEO, tačiau su juo reikėtų elgtis atsargiai. Robots.txt failo pagalba galite uždrausti paieškos sistemoms prieigą prie skirtingų failų ir aplankų, tačiau dažnai tai  nėra geriausias būdas optimizuoti savo svetainę.

Čia paaiškinsime, kaip, mūsų manymu, žiniatinklio valdytojai turėtų naudoti savo robots.txt failą, ir pasiūlysime geriausios praktikos metodą, tinkantį daugumai svetainių.

Toliau šiame puslapyje rasite robots.txt pavyzdį, kuris tinka daugumai WordPress interneto svetainių.

Interneto svetainės robots.txt failas „geriausia praktika“?

Paieškos sistemos nuolat tobulina žiniatinklio tikrinimo ir turinio indeksavimo būdus. Tai reiškia, kad tai, kas prieš kelerius metus buvo geriausia praktika, nebeveikia arba netgi gali pakenkti jūsų svetainei.

Šiandien geriausia praktika reiškia kuo mažiau pasikliauti robots.txt failu. Tiesą sakant, blokuoti URL robots.txt faile iš tikrųjų reikia tik tada, kai kyla sudėtingų techninių problemų (pvz., didelė el. prekybos svetainė) arba kai nėra kitos galimybės.

URL blokavimas per robots.txt yra žiaurios jėgos metodas ir gali sukelti daugiau problemų nei išspręsta.

Šis pavyzdys yra geriausia daugelio „WordPress“ svetainių pavyzdys:

# Svetainės robots.txt failas
User-Agent: *
Host: https://grasschemija.lt
Sitemap: https://grasschemija.lt/wp-sitemap.xml
User-agent: *

Mes net naudojame šį metodą kurdami internetines svetaines

Ką veikia šis kodas?

• User-agent: * instrukcija teigia, kad visos šios instrukcijos taikomos visiems paieškos robotams.
• Kadangi nepateikiame jokių tolesnių instrukcijų, sakome „visi tikrintuvai gali laisvai tikrinti šią svetainę be apribojimų“.

Jei turite neleisti URL

Jei norite užkirsti kelią paieškos varikliams tikrinti ar indeksuoti tam tikras jūsų WordPress interneto svetainės dalis, beveik visada geriau tai padaryti pridėjus meta robotų žymas arba robotų HTTP antraštes.

Atminkite, kad WordPress jau automatiškai neleidžia indeksuoti kai kurių neskelbtinų failų ir URL, pvz., WordPress administratoriaus srities per „ x-robots“ HTTP antraštę.

Kodėl ši minimalizmo praktika yra geriausia?

Robots.txt sukuria aklavietes

Interneto svetainės robots.txt

Kad galėtumėte varžytis dėl matomumo paieškos rezultatuose, paieškos sistemos turi atrasti, tikrinti ir indeksuoti jūsų puslapius. Jei jūs užblokavote tam tikrus adresus per robots.txt, paieškos robotai nebegali nuskaityti ir per tuos puslapius, atrasti kitus. Tai gali reikšti, kad pagrindiniai puslapiai neatrandami.

Viena pagrindinių SEO taisyklių yra ta, kad nuorodos iš kitų puslapių gali paveikti jūsų našumą. Jei URL yra užblokuotas, paieškos varikliai ne tik jo netikrins, bet ir gali neplatinti jokios nuorodos vertės, nukreipiančios į tą URL, arba per tą URL į kitus svetainės puslapius.

Google visiškai pateikia jūsų svetainę

Žmonės užblokuodavo prieigą prie CSS ir JavaScript failų, kad paieškos varikliai sutelktų dėmesį į tuos svarbius turinio puslapius.

Šiais laikais Google pateikia visus jūsų stilius ir JavaScript bei visiškai pateikia jūsų puslapius. Suprasti savo puslapio maketą ir pateiktį yra pagrindinė jo kokybės vertinimo dalis. Taigi Google visai nepatinka, kai jūs uždarote prieiga prie savo CSS ar JavaScript failų.

Ankstesnė geriausia praktika, blokuoti prieigą prie  wp-includes katalogo ir įskiepių katalogo per, robots.txt nebegalioja.

Daugelis WordPress temų taip pat naudoja asinchronines JavaScript užklausas – vadinamąsias AJAX – turiniui pridėti prie tinklalapių.

Robots.txt standartas palaiko nuorodos pridėjimą į XML svetainės schemą (-as) prie failo. Tai padeda paieškos sistemoms atrasti jūsų svetainės vietą ir turinį.