Генератор robots.txt

Зберіть robots.txt під свій сайт: позначте, що закрити від пошукових систем, оберіть движок — отримаєте готовий файл. Усе формується у браузері, нічого нікуди не надсилається.

Навіщо потрібен robots.txt

Це текстовий файл у корені сайту, який підказує пошуковим роботам, куди не варто заходити. Він економить краулінговий бюджет: робот не витрачає час на службові адреси, сторінки пошуку й нескінченні комбінації фільтрів, а обходить те, що справді має бути в індексі.

Чого robots.txt НЕ робить

Найпоширеніша помилка — вважати його засобом захисту. Це не так:

• Не приховує сторінку від людей. Файл відкритий: будь-хто набере ваш-сайт/robots.txt і побачить перелік того, що ви закриваєте. Не пишіть туди шляхи до адмінок і закритих розділів — ви лише покажете їх зловмиснику.
• Не гарантує зникнення з видачі. Якщо на сторінку є зовнішні посилання, Google може показати її в результатах без опису. Щоб прибрати сторінку з індексу, потрібен noindex у мета-тезі, а не заборона в robots.txt.
• Не захищає від ботів. Правила виконують добросовісні краулери. Сканери вразливостей і парсери контенту їх просто ігнорують.

Типові помилки

Disallow: /

Один символ закриває весь сайт. Зазвичай залишається після розробки — сайт запустили, а зняти заборону забули. Якщо трафік із пошуку раптово зник, перевіряйте це першим.

Закриті CSS і JavaScript

Колись їх ховали, щоб «не витрачати бюджет». Сьогодні Google рендерить сторінку як браузер: без стилів і скриптів він бачить зламану верстку й може вирішити, що сайт не адаптований під мобільні.

Заборона замість noindex

Сторінка вже в індексі, ви закриваєте її в robots.txt — і робот більше не заходить, а отже, не бачить, що її треба виключити. Вона залишається у видачі. Правильний порядок: спочатку noindex, дочекатися виходу з індексу, потім за потреби закривати в robots.txt.

Немає посилання на карту сайту

Рядок Sitemap: — найпростіший спосіб повідомити пошуковим системам про всі ваші сторінки. Наш генератор додає його автоматично, коли ви вкажете адресу сайту.

Про заборону AI-ботів

Окремий пункт закриває доступ GPTBot, ClaudeBot, CCBot, Google-Extended та іншим збирачам даних для навчання моделей.

Рішення не однозначне. Заборона зменшує використання ваших текстів для навчання, але частина цих ботів забезпечує і показ вашого сайту у відповідях AI — з посиланням на джерело. Закриваючи їх, ви втрачаєте цей канал. Ми розібрали, як це впливає на трафік, у статті про AI-відповіді Google.

Куди покласти файл

Тільки в корінь сайту: example.com/robots.txt. У підтеці він працювати не буде. На WordPress файл часто генерується плагіном на льоту — тоді фізичний файл у корені його перекриє, і редагувати доведеться саме файл.

Після завантаження перевірте, що він відкривається за прямою адресою, і надішліть сайт на переобхід у Google Search Console.

Інші інструменти

• Перевірка мета-тегів — title, description, H1, canonical і швидкість
• Генератор QR-кодів — посилання, Wi-Fi, телефон
• Розрахунок вартості сайту — за три кроки