Interneto svetainės robots.txt failas
Jūsų interneto svetainės robots.txt failas yra galingas įrankis dirbant su svetainės SEO, tačiau su juo reikėtų elgtis atsargiai. Robots.txt failo pagalba galite uždrausti paieškos sistemoms prieigą prie skirtingų failų ir aplankų, tačiau dažnai tai nėra geriausias būdas optimizuoti savo svetainę.
Čia paaiškinsime, kaip, mūsų manymu, žiniatinklio valdytojai turėtų naudoti savo robots.txt failą, ir pasiūlysime geriausios praktikos metodą, tinkantį daugumai svetainių.
Toliau šiame puslapyje rasite robots.txt pavyzdį, kuris tinka daugumai WordPress interneto svetainių.
Interneto svetainės robots.txt failas „geriausia praktika“?
Paieškos sistemos nuolat tobulina žiniatinklio tikrinimo ir turinio indeksavimo būdus. Tai reiškia, kad tai, kas prieš kelerius metus buvo geriausia praktika, nebeveikia arba netgi gali pakenkti jūsų svetainei.
Šiandien geriausia praktika reiškia kuo mažiau pasikliauti robots.txt failu. Tiesą sakant, blokuoti URL robots.txt faile iš tikrųjų reikia tik tada, kai kyla sudėtingų techninių problemų (pvz., didelė el. prekybos svetainė) arba kai nėra kitos galimybės.
URL blokavimas per robots.txt yra žiaurios jėgos metodas ir gali sukelti daugiau problemų nei išspręsta.
Šis pavyzdys yra geriausia daugelio „WordPress“ svetainių pavyzdys:
# Svetainės robots.txt failas
User-Agent: *
Host: https://grasschemija.lt
Sitemap: https://grasschemija.lt/wp-sitemap.xml
User-agent: *Mes net naudojame šį metodą kurdami internetines svetaines
Ką veikia šis kodas?
User-agent: *instrukcija teigia, kad visos šios instrukcijos taikomos visiems paieškos robotams.- Kadangi nepateikiame jokių tolesnių instrukcijų, sakome „visi tikrintuvai gali laisvai tikrinti šią svetainę be apribojimų“.
Jei turite neleisti URL
Jei norite užkirsti kelią paieškos varikliams tikrinti ar indeksuoti tam tikras jūsų WordPress interneto svetainės dalis, beveik visada geriau tai padaryti pridėjus meta robotų žymas arba robotų HTTP antraštes.
Atminkite, kad WordPress jau automatiškai neleidžia indeksuoti kai kurių neskelbtinų failų ir URL, pvz., WordPress administratoriaus srities per „ x-robots“ HTTP antraštę.
Kodėl ši minimalizmo praktika yra geriausia?
Robots.txt sukuria aklavietes
Interneto svetainės robots.txt
Kad galėtumėte varžytis dėl matomumo paieškos rezultatuose, paieškos sistemos turi atrasti, tikrinti ir indeksuoti jūsų puslapius. Jei jūs užblokavote tam tikrus adresus per robots.txt, paieškos robotai nebegali nuskaityti ir per tuos puslapius, atrasti kitus. Tai gali reikšti, kad pagrindiniai puslapiai neatrandami.
Viena pagrindinių SEO taisyklių yra ta, kad nuorodos iš kitų puslapių gali paveikti jūsų našumą. Jei URL yra užblokuotas, paieškos varikliai ne tik jo netikrins, bet ir gali neplatinti jokios nuorodos vertės, nukreipiančios į tą URL, arba per tą URL į kitus svetainės puslapius.
Google visiškai pateikia jūsų svetainę
Žmonės užblokuodavo prieigą prie CSS ir JavaScript failų, kad paieškos varikliai sutelktų dėmesį į tuos svarbius turinio puslapius.
Šiais laikais Google pateikia visus jūsų stilius ir JavaScript bei visiškai pateikia jūsų puslapius. Suprasti savo puslapio maketą ir pateiktį yra pagrindinė jo kokybės vertinimo dalis. Taigi Google visai nepatinka, kai jūs uždarote prieiga prie savo CSS ar JavaScript failų.
Ankstesnė geriausia praktika, blokuoti prieigą prie wp-includes katalogo ir įskiepių katalogo per, robots.txt nebegalioja.
Daugelis WordPress temų taip pat naudoja asinchronines JavaScript užklausas – vadinamąsias AJAX – turiniui pridėti prie tinklalapių.
Robots.txt standartas palaiko nuorodos pridėjimą į XML svetainės schemą (-as) prie failo. Tai padeda paieškos sistemoms atrasti jūsų svetainės vietą ir turinį.
