Офіційні гайди від Google

• "Краткое руководство по поисковой оптимизации" - офіційна коротка інстркція - усього на одній сторінці. Три основні кроки - коротко й зрозуміло. мова російська.
• "Пошукова оптимізація довідник для початківців" - більш розширений варіант попередньої інструкції, теж офіційний і теж російською. рекомендовано для прочитання.

Заборонити індексацію директорії (папки)

Disallow: /lib/

Заборонити індексацію усього, що починається з lib

Disallow: /lib

Наприклад для цієї dokuwiki актуальний наступний robots.txt

| robots.txt

User-agent: *
Crawl-delay: 5  
Disallow: /webstat/
Disallow: /cgi-bin/
Disallow: /conf/
Disallow: /file/
Disallow: /inc/
Disallow: /vendor/
Disallow: /data/
Disallow: /bin/
Disallow: /lib/
Sitemap: https://wiki.djal.in/sitemap.xml.gz
Host: https://wiki.djal.in 

Зверніть увагу, що тут вже вказано домен без www та з протоколом https. У вашому випадку це може бути не так - відредагуйте файл під ваші потреби