Corect robots.txt

Fișierul robots.txt — este fișierul principal care descrie regulile de procesare a paginilor de căutare de roboți. Acest fisier nevoie pentru a specifica un nume principal site-ul, harta site-ului (sitemap.xml), deschise și închise secțiunile site-ului.
Fișierul robots.txt include următoarele directive:.ro.pug

  • User-agent — directiva indică pentru un robot de următoarele reguli
    • * - toate roboți
    • Yandex — bază robot Yandex
    • Googlebot — bază robot Google
    • StackRambler — robot de căutare Rambler
    • Aport de căutare robot Апорт
    • Slurp — robot Yahoo
    • MSNBot — robot MSN
  • Permiteți — directiva de restricționare a site-ului
  • Allow — directiva de autorizare a site-ului
  • Host — directiva indicații principale numele site-ului
  • Sitemap— directiva specifica harta site-ului (sitemap.xml)
  • Crawl-delay — directiva indică cât de multe secunde robotul poate să aștepte un răspuns de la site-ul (este nevoie de mult preluate de resurse, pentru ca robotul nu a considerat site-ul inaccesibil)
  • Clean-param — directiva care descrie parametrii dinamici nu afectează conținutul site-ului

Помимо директив в robots.txt используются спец символы:

  • * - любай (inclusiv o) o secvență de caractere
  • $ — este o limitare reguli

Pentru întocmirea robots.txt sunt folosite cele enumerate de directivă și speth simboluri pe următorul principiu:

  • Se indică numele robotului pentru care se scrie o listă de reguli
    (User-agent: * - o regulă pentru toate roboți)
  • Este scris în lista de interdicție a compartimentelor specificat robot
    ( Disallow: / - interdicția de indexare tot site-ul)
  • Scrie o listă de permise secțiuni a site-ului
    (Allow: /home/ — permis secțiunea home)
  • Se indică numele site-ului
    (Host: crazysquirrel.ru — principala numele site-ului crazysquirrel.ru)
  • Se indică calea absolută la dosar sitemap.xml
    (Sitemap: https:// crazysquirrel.ru/sitemap.xml)

Dacă site-ul nu sunt interzise de partiții, atunci robots.txt ar trebui să constea din cel puțin 4 rânduri:

User-Agent: *
Allow: /
Host: crazysquirrel.ru
Sitemap: https://crazysquirrel.ru/sitemap.xml

Verifica robots.txt și atunci, cum afectează indexarea site-ului poate fi cu ajutorul de instrumente Yandex

Arată și se lasă comentarii