Kaip sukurti interneto svetainės robots.txt failą – „Robots.txt“ yra teksto failas, kurį žiniatinklio valdytojai kuria tam, kad žiniatinklio robotams (paprastai paieškos robotams) nurodytų, kaip tikrinti savo internetinės svetainės puslapius. Failas „robots.txt“ yra robotų išskyrimo protokolo (REP), žiniatinklio standartų grupės, reguliuojančios, kaip robotai tikrina žiniatinklį, prieina ir indeksuoja turinį, ir teikia tą turinį vartotojams. REP taip pat