Fișierul robots.txt — este fișierul principal care descrie regulile de procesare a paginilor de căutare de roboți. Acest fisier nevoie pentru a specifica un nume principal site-ul, harta site-ului (sitemap.xml), deschise și închise secțiunile site-ului.
Fișierul robots.txt include următoarele directive:.ro.pug
- User-agent — directiva indică pentru un robot de următoarele reguli
- * - toate roboți
- Yandex — bază robot Yandex
- Googlebot — bază robot Google
- StackRambler — robot de căutare Rambler
- Aport de căutare robot Апорт
- Slurp — robot Yahoo
- MSNBot — robot MSN
- Permiteți — directiva de restricționare a site-ului
- Allow — directiva de autorizare a site-ului
- Host — directiva indicații principale numele site-ului
- Sitemap— directiva specifica harta site-ului (sitemap.xml)
- Crawl-delay — directiva indică cât de multe secunde robotul poate să aștepte un răspuns de la site-ul (este nevoie de mult preluate de resurse, pentru ca robotul nu a considerat site-ul inaccesibil)
- Clean-param — directiva care descrie parametrii dinamici nu afectează conținutul site-ului
Помимо директив в robots.txt используются спец символы:
- * - любай (inclusiv o) o secvență de caractere
- $ — este o limitare reguli
Pentru întocmirea robots.txt sunt folosite cele enumerate de directivă și speth simboluri pe următorul principiu:
- Se indică numele robotului pentru care se scrie o listă de reguli
(User-agent: * - o regulă pentru toate roboți) - Este scris în lista de interdicție a compartimentelor specificat robot
( Disallow: / - interdicția de indexare tot site-ul) - Scrie o listă de permise secțiuni a site-ului
(Allow: /home/ — permis secțiunea home) - Se indică numele site-ului
(Host: crazysquirrel.ru — principala numele site-ului crazysquirrel.ru) - Se indică calea absolută la dosar sitemap.xml
(Sitemap: https:// crazysquirrel.ru/sitemap.xml)
Dacă site-ul nu sunt interzise de partiții, atunci robots.txt ar trebui să constea din cel puțin 4 rânduri:
User-Agent: *
Allow: /
Host: crazysquirrel.ru
Sitemap: https://crazysquirrel.ru/sitemap.xml
Verifica robots.txt și atunci, cum afectează indexarea site-ului poate fi cu ajutorul de instrumente Yandex