Розбіжності

Тут показані розбіжності між вибраною ревізією та поточною версією сторінки.

--- site:bazova_poshukova_optimizacija [2018/05/26 08:32] – [robots.txt] Юрій
+++ site:bazova_poshukova_optimizacija [2020/08/05 09:40] – Юрій
@@ Рядок 9: / Рядок 9: @@
 ===== .htaccess =====
+[[site:.htaccess|htaccess]]
 ===== sitemap =====
@@ Рядок 35: / Рядок 37: @@
 Наприклад для цієї dokuwiki актуальний наступний robots.txt
-<code text | robots.txt>User-agent: *
+<code text | robots.txt>User-agent: *>
 Crawl-delay: 5
 Disallow: /webstat/
@@ Рядок 51: / Рядок 53: @@
-Зверніть увагу, що тут вже вказано домен без www та з протоколом https. У вашому випадку це може бути не так - відредагуйте файл під ваші потреби. ''Існує думка, що в директиві Host протокол вказувати не можна, одначе аналізатор від яндекса не лається, значить тут все в порядку. Якщо ж не орієнтуватись на цю пошукову систему директиву Host взагалі можна не використовувати.
+Приклад для сайту на wordpress
-''
+<code text | robots.txt>User-agent: *>
+    Crawl-delay: 1
+    Disallow: /webstat/
+    Disallow: /cgi-bin
+    Disallow: /wp-admin
+    Disallow: /wp-includes
+    Disallow: /wp-content/plugins
+    Disallow: /wp-content/cache
+    Allow: /wp-content/themes
+    Disallow: /trackback
+    Disallow: */trackback
+    Disallow: /wp-trackback
+    Disallow: /wp-feed
+    Disallow: /comments
+    Disallow: /wp-comments
+    Disallow: /xmlrpc.php
+    Disallow: */trackback
+    # Disallow: */feed
+    # Disallow: /feed/
+    Disallow: */comments
+    # Disallow: /category
+    # Disallow: /category/*/*
+    Disallow: /tag
+    # Disallow: /*?*
+    # Disallow: /*?
+    Disallow: /to/
+    Disallow: /&*
+    Disallow: /page/
+    Disallow: /goto/
+    Disallow: /goto/*
+    Sitemap: site.com/sitemap.xml.gz
+    Host: site.com </code>
+Зверніть увагу, що тут вже вказано домен без www та з протоколом https. У вашому випадку це може бути не так - відредагуйте файл під ваші потреби. <WRAP center round info 60%>
+Існує думка, що в директиві Host протокол вказувати не можна, одначе аналізатор від яндекса не лається, значить тут все в порядку. Якщо ж не орієнтуватись на цю пошукову систему директиву Host взагалі можна не використовувати.
+</WRAP>
 ===== Корисні посилання =====