Офіційні гайди від Google

• "Краткое руководство по поисковой оптимизации" - офіційна коротка інструкція - усього на одній сторінці. Три основні кроки - коротко й зрозуміло. мова російська.
• "Пошукова оптимізація довідник для початківців" - більш розширений варіант попередньої інструкції, теж офіційний і теж російською. рекомендовано для прочитання.

Заборонити індексацію директорії (папки)

Disallow: /lib/

Заборонити індексацію усього, що починається з lib

Disallow: /lib

Наприклад для цієї dokuwiki актуальний наступний robots.txt

| robots.txt

User-agent: *
Crawl-delay: 5  
Disallow: /webstat/
Disallow: /cgi-bin/
Disallow: /conf/
Disallow: /file/
Disallow: /inc/
Disallow: /vendor/
Disallow: /data/
Disallow: /bin/
Disallow: /lib/
Sitemap: https://wiki.djal.in/sitemap.xml.gz
Host: https://wiki.djal.in 

Зверніть увагу, що тут вже вказано домен без www та з протоколом https. У вашому випадку це може бути не так - відредагуйте файл під ваші потреби. Існує думка, що в директиві Host протокол вказувати не можна, одначе аналізатор від яндекса не лається, значить тут все в порядку. Якщо ж не орієнтуватись на цю пошукову систему директиву Host взагалі можна не використовувати.

• Search Console - Довідка Google
• Google про robots.txt
• Сайт присвячений robots.txt
• Про robots.txt від Яндекс
• Перевірка robots.txt від Яндекс