Неправильный robots.txt может закрыть от индексации весь магазин. Правильный — сэкономит бюджет обхода и защитит от дублей. Разбираем конкретные настройки.
Что такое robots.txt
Данные исследований
По данным Data Insight (2024), объём российского e-commerce достиг 8,1 трлн ₽ (+36% год к году). 74% российских покупателей совершают онлайн-покупки не реже раза в месяц. Доля мобильных покупок превысила 62% в 2024 году (Яндекс.Маркет).
Текстовый файл в корне сайта (yourdomain.ru/robots.txt), который говорит поисковикам, какие страницы обходить, а какие нет.
Важно: robots.txt запрещает обход, но не индексацию. Закрытая в robots.txt страница может остаться в индексе (если на неё есть ссылки).
Для полного исключения из индекса используйте noindex, а не только robots.txt.
Что закрывать в WooCommerce
«` User-agent: *
# Административная часть Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
# Технические страницы WordPress Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php
# Страницы WooCommerce (не нужны в поиске) Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ Disallow: /wc-api/ Disallow: /order-received/ Disallow: /order-pay/
# Параметры сортировки Disallow: /?orderby= Disallow: /?add-to-cart=
# Служебные страметы WordPress Disallow: /?replytocom= Disallow: /?unapproved=
# Поиск Disallow: /?s=
Sitemap: https://yourdomain.ru/sitemap.xml «`
Что НЕ закрывать
❌ Ошибка многих: « Disallow: /wp-content/uploads/ «
Это закрывает изображения от индексации в Google Images — потеря трафика.
❌ Не закрывайте страницы категорий и товаров через robots.txt.
Как проверить robots.txt
Яндекс.Вебмастер → Инструменты → Проверка robots.txt: Вводите URL страницы → смотрите, разрешена ли она.
Google Search Console → Robots.txt Tester (убран из GSC, но доступен через старый интерфейс).
Онлайн-инструмент: search.google.com/search-console/robots-testing-tool
Как редактировать robots.txt в WordPress
Через SEO-плагин: Yoast SEO → Инструменты → Редактор robots.txt
RankMath → Общие Настройки → Edit robots.txt
Прямое редактирование: FTP/SSH → файл /robots.txt в корне сайта.
Настраиваем robots.txt, sitemap и техническое SEO магазина для максимально эффективного обхода поисковиками.
Часто задаваемые вопросы
Сколько времени занимает разработка магазина?
Стандартный интернет-магазин разрабатывается 4–8 недель: проектирование, дизайн, разработка, наполнение каталога и тестирование. Сроки зависят от объёма товаров и сложности интеграций с внешними сервисами.
Какую платформу лучше выбрать для интернет-магазина?
WooCommerce подходит для большинства проектов малого и среднего бизнеса — гибкая, с большим числом плагинов. 1С-Битрикс выбирают для крупных каталогов. Выбор зависит от размера каталога, бюджета и планов роста.
Какие ошибки чаще всего допускают при создании магазина?
Типичные ошибки: запуск без проработанной структуры каталога, игнорирование мобильной версии, слабые описания товаров и отсутствие аналитики с первого дня. Также часто недооценивают стоимость продвижения после запуска.
Сколько стоит создать интернет-магазин?
Стоимость зависит от платформы, функционала и интеграций. Базовый магазин на WooCommerce — от 80 000 рублей, магазин под ключ с CRM и аналитикой — от 200 000 рублей. Точная смета рассчитывается после анализа ниши и требований.
Читайте также
Хотите понять, сколько может приносить собственный интернет-магазин?
Мы разрабатываем интернет-магазины для товарного бизнеса и помогаем выстроить систему продаж: от структуры и каталога до продвижения, аналитики и стабильных заказов.
Оставьте заявку — разберём вашу нишу, покажем, где сейчас теряется маржа, и оценим потенциал собственной платформы продаж.
