Розбіжності

Тут показані розбіжності між вибраною ревізією та поточною версією сторінки.

--- site:bazova_poshukova_optimizacija [2018/05/25 18:09] – [robots.txt] Юрій
+++ site:bazova_poshukova_optimizacija [2020/08/05 09:42] (поточний) – Юрій
@@ Рядок 5: / Рядок 5: @@
 Офіційні гайди від Google
-  * {{ :site:kratkoe_rukovodstvo_po_poiskovoj_optimizacii.pdf |"Краткое руководство по поисковой оптимизации"}} - офіційна коротка інстркція - усього на одній сторінці. Три основні кроки - коротко й зрозуміло. мова російська.
+  * {{ :site:kratkoe_rukovodstvo_po_poiskovoj_optimizacii.pdf |"Краткое руководство по поисковой оптимизации"}} - офіційна коротка інструкція - усього на одній сторінці. Три основні кроки - коротко й зрозуміло. мова російська.
   * {{ :site:search-engine-optimization-starter-guide-ru.pdf | "Пошукова оптимізація довідник для початківців"}} - більш розширений варіант попередньої інструкції, теж офіційний і теж російською. рекомендовано для прочитання.
 ===== .htaccess =====
+[[site:.htaccess|htaccess]]
 ===== sitemap =====
@@ Рядок 14: / Рядок 16: @@
 ===== robots.txt =====
+<WRAP center round important 60%>
+Пам'ятайте, директиви robots.txt мають рекомендаційний характер і можуть виконуватись не усіма ботами. Якщо вам потрібно, щоб боти точно не мали туди доступу - скористайтесь іншими засобами.
+</WRAP>
 Заборонити індексацію директорії (папки)
@@ Рядок 46: / Рядок 53: @@
-Зверніть увагу, що тут вже вказано домен без www та з протоколом https. У вашому випадку це може бути не так - відредагуйте файл під ваші потреби
+Приклад для сайту на wordpress
+<code text | robots.txt>User-agent: *
+    Crawl-delay: 1
+    Disallow: /webstat/
+    Disallow: /cgi-bin
+    Disallow: /wp-admin
+    Disallow: /wp-includes
+    Disallow: /wp-content/plugins
+    Disallow: /wp-content/cache
+    Allow: /wp-content/themes
+    Disallow: /trackback
+    Disallow: */trackback
+    Disallow: /wp-trackback
+    Disallow: /wp-feed
+    Disallow: /comments
+    Disallow: /wp-comments
+    Disallow: /xmlrpc.php
+    Disallow: */trackback
+    # Disallow: */feed
+    # Disallow: /feed/
+    Disallow: */comments
+    # Disallow: /category
+    # Disallow: /category/*/*
+    Disallow: /tag
+    # Disallow: /*?*
+    # Disallow: /*?
+    Disallow: /to/
+    Disallow: /&*
+    Disallow: /page/
+    Disallow: /goto/
+    Disallow: /goto/*
+    Sitemap: site.com/sitemap.xml.gz
+    Host: site.com </code>
+Зверніть увагу, що тут вже вказано домен без www та з протоколом https. У вашому випадку це може бути не так - відредагуйте файл під ваші потреби. <WRAP center round info 60%>
+Існує думка, що в директиві Host протокол вказувати не можна, одначе аналізатор від яндекса не лається, значить тут все в порядку. Якщо ж не орієнтуватись на цю пошукову систему директиву Host взагалі можна не використовувати.
+</WRAP>
+===== Корисні посилання =====
+  * [[https://support.google.com/webmasters|Search Console - Довідка Google]]
+  * [[https://developers.google.com/search/reference/robots_txt|Google про robots.txt ]]
+  * [[http://robotstxt.org.ru/|Сайт присвячений robots.txt ]]
+  * [[https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html| Про robots.txt від Яндекс]]
+  * [[https://webmaster.yandex.ru/tools/robotstxt/| Перевірка robots.txt від Яндекс]]