Зміст
Базова пошукова оптимізація сайтів
Основи
Офіційні гайди від Google
- "Краткое руководство по поисковой оптимизации" - офіційна коротка інструкція - усього на одній сторінці. Три основні кроки - коротко й зрозуміло. мова російська.
- "Пошукова оптимізація довідник для початківців" - більш розширений варіант попередньої інструкції, теж офіційний і теж російською. рекомендовано для прочитання.
.htaccess
sitemap
robots.txt
Пам'ятайте, директиви robots.txt мають рекомендаційний характер і можуть виконуватись не усіма ботами. Якщо вам потрібно, щоб боти точно не мали туди доступу - скористайтесь іншими засобами.
Заборонити індексацію директорії (папки)
Disallow: /lib/
Заборонити індексацію усього, що починається з lib
Disallow: /lib
Наприклад для цієї dokuwiki актуальний наступний robots.txt
- | robots.txt
User-agent: * Crawl-delay: 5 Disallow: /webstat/ Disallow: /cgi-bin/ Disallow: /conf/ Disallow: /file/ Disallow: /inc/ Disallow: /vendor/ Disallow: /data/ Disallow: /bin/ Disallow: /lib/ Sitemap: https://wiki.djal.in/sitemap.xml.gz Host: https://wiki.djal.in
Приклад для сайту на wordpress
- | robots.txt
User-agent: * Crawl-delay: 1 Disallow: /webstat/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Allow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: /wp-trackback Disallow: /wp-feed Disallow: /comments Disallow: /wp-comments Disallow: /xmlrpc.php Disallow: */trackback # Disallow: */feed # Disallow: /feed/ Disallow: */comments # Disallow: /category # Disallow: /category/*/* Disallow: /tag # Disallow: /*?* # Disallow: /*? Disallow: /to/ Disallow: /&* Disallow: /page/ Disallow: /goto/ Disallow: /goto/* Sitemap: site.com/sitemap.xml.gz Host: site.com
Зверніть увагу, що тут вже вказано домен без www та з протоколом https. У вашому випадку це може бути не так - відредагуйте файл під ваші потреби.
Існує думка, що в директиві Host протокол вказувати не можна, одначе аналізатор від яндекса не лається, значить тут все в порядку. Якщо ж не орієнтуватись на цю пошукову систему директиву Host взагалі можна не використовувати.