====== Базова пошукова оптимізація сайтів ======

===== Основи =====

Офіційні гайди від Google

  * {{ :site:kratkoe_rukovodstvo_po_poiskovoj_optimizacii.pdf |"Краткое руководство по поисковой оптимизации"}} - офіційна коротка інструкція - усього на одній сторінці. Три основні кроки - коротко й зрозуміло. мова російська.
  * {{ :site:search-engine-optimization-starter-guide-ru.pdf | "Пошукова оптимізація довідник для початківців"}} - більш розширений варіант попередньої інструкції, теж офіційний і теж російською. рекомендовано для прочитання. 

===== .htaccess =====

[[site:.htaccess|htaccess]]

===== sitemap =====


===== robots.txt =====

<WRAP center round important 60%>
Пам'ятайте, директиви robots.txt мають рекомендаційний характер і можуть виконуватись не усіма ботами. Якщо вам потрібно, щоб боти точно не мали туди доступу - скористайтесь іншими засобами.
</WRAP>


Заборонити індексацію директорії (папки)
<code>
Disallow: /lib/
</code>

Заборонити індексацію усього, що починається з lib
<code>
Disallow: /lib
</code>




Наприклад для цієї dokuwiki актуальний наступний robots.txt

<code text | robots.txt>User-agent: *
Crawl-delay: 5  
Disallow: /webstat/
Disallow: /cgi-bin/
Disallow: /conf/
Disallow: /file/
Disallow: /inc/
Disallow: /vendor/
Disallow: /data/
Disallow: /bin/
Disallow: /lib/
Sitemap: https://wiki.djal.in/sitemap.xml.gz
Host: https://wiki.djal.in </code>



Приклад для сайту на wordpress

<code text | robots.txt>User-agent: *
    Crawl-delay: 1  
    Disallow: /webstat/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Allow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /comments
    Disallow: /wp-comments
    Disallow: /xmlrpc.php
    Disallow: */trackback
    # Disallow: */feed
    # Disallow: /feed/
    Disallow: */comments
    # Disallow: /category
    # Disallow: /category/*/*
    Disallow: /tag
    # Disallow: /*?*
    # Disallow: /*?
    Disallow: /to/
    Disallow: /&*
    Disallow: /page/
    Disallow: /goto/
    Disallow: /goto/*
     
    Sitemap: site.com/sitemap.xml.gz
    Host: site.com </code>

Зверніть увагу, що тут вже вказано домен без www та з протоколом https. У вашому випадку це може бути не так - відредагуйте файл під ваші потреби. <WRAP center round info 60%>
Існує думка, що в директиві Host протокол вказувати не можна, одначе аналізатор від яндекса не лається, значить тут все в порядку. Якщо ж не орієнтуватись на цю пошукову систему директиву Host взагалі можна не використовувати.
</WRAP>


===== Корисні посилання =====

  * [[https://support.google.com/webmasters|Search Console - Довідка Google]]
  * [[https://developers.google.com/search/reference/robots_txt|Google про robots.txt ]]
  * [[http://robotstxt.org.ru/|Сайт присвячений robots.txt ]]
  * [[https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html| Про robots.txt від Яндекс]]
  * [[https://webmaster.yandex.ru/tools/robotstxt/| Перевірка robots.txt від Яндекс]]