Как закрыть дубли страниц от пагинации в WordPress без потери индексации

Пагинация в WordPress часто создаёт не одну проблему, а сразу три: в индекс попадают почти одинаковые страницы, поисковик тратит обход на мусорные URL, а в отчётах по индексации появляются дубли с параметрами и страницами /page/2/, /page/3/ и дальше. На небольшом сайте это может быть незаметно, но на каталоге, блоге с большим архивом или новостном проекте такие страницы быстро раздувают индекс.

Ниже — рабочая схема, когда нужно закрывать пагинацию, чем отличается noindex от запрета в robots.txt, и как не сломать обход важных страниц.

Когда пагинация становится проблемой

Не каждая страница архива должна быть закрыта. Если у вас на странице категории 10–15 материалов и каждая следующая страница реально помогает пользователю найти старые записи, оставлять пагинацию открытой нормально. Проблема начинается, когда:

• страницы архива почти повторяют друг друга по заголовкам и мета-тегам;
• в поиске появляются URL вида /category/news/page/8/, хотя контент там уже не несёт самостоятельной ценности;
• в индексе много страниц с тонким содержимым и низкой кликабельностью;
• сайт генерирует ещё и дубли через параметры сортировки, фильтры или UTM;
• в логах или в отчётах краулинга видно, что бот тратит обход на глубокие страницы архивов.

Что именно считать дублем

Дублем в этой задаче обычно является не только точная копия, а страница, которая почти не отличается от соседней по смыслу и не должна ранжироваться отдельно. Для WordPress это чаще всего:

• страницы пагинации архивов записей;
• страницы категорий и тегов с /page/N/;
• авторские архивы, если они не нужны в поиске;
• страницы медиа-архивов, если они включены в тему или плагин;
• архивы с параметрами, которые создают одинаковый список записей.

Диагностика: где искать проблему

Сначала проверьте, что именно индексируется. Не стоит закрывать всё подряд только потому, что в Search Console выросло число страниц. Нужен короткий аудит.

1. Откройте несколько страниц пагинации вручную: /page/2/, /page/3/.
2. Посмотрите исходный код и убедитесь, есть ли там meta name="robots".
3. Проверьте заголовок <title> и canonical.
4. Сравните, отличаются ли страницы по контенту, или это просто следующий набор записей.
5. В Search Console посмотрите, какие URL попадают в отчёт по индексированию и какие из них помечены как дубли.

Если на страницах пагинации есть полноценный уникальный контент, например редакционные подборки или отдельные блоки описания, закрывать их без разбора не стоит. Но в типичной установке WordPress это именно списки записей, а не самостоятельные посадочные страницы.

Что лучше: noindex, robots.txt или canonical

Для пагинации чаще всего используют noindex,follow. Это позволяет поисковику не включать страницу в индекс, но не ломает переходы по ссылкам внутри архива. Запрет в robots.txt для этой задачи обычно хуже: если бот не может зайти на страницу, он не увидит мета-robots и не всегда корректно обработает сигналы с неё.

Если задача именно убрать дубли из индекса, а не спрятать URL от бота, начинайте с noindex,follow. Для отдельных технических разделов можно дополнительно закрыть обход через robots.txt, но не как основной способ для пагинации.

Пошаговое решение в WordPress

Вариант 1: через SEO-плагин

Если у вас уже стоит плагин для SEO, проверьте настройки архивов и пагинации. В большинстве случаев можно отключить индексацию архивов тегов, авторов или медиа, а для пагинации оставить noindex на уровне шаблона мета-тегов. Это самый безопасный путь, если вы не хотите править тему.

Если используете Clearfy Pro, там есть инструменты для удаления дублей и технической чистки сайта. Это не отменяет ручную проверку, но помогает быстро закрыть типовые источники мусора и не держать это в теме. Подход особенно полезен, когда на сайте несколько типов архивов и часть из них вообще не нужна в поиске.

Вариант 2: кодом в теме или мини-плагине

Если нужен точечный контроль, добавьте условие в functions.php дочерней темы или в свой мини-плагин. Ниже пример, который ставит noindex,follow для страниц пагинации архивов, категорий, тегов и авторов.

<?php
add_filter( 'wp_robots', function( array $robots ) {
    if ( is_paged() && ( is_home() || is_archive() ) ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Этот вариант опирается на стандартный фильтр wp_robots, который есть в современных версиях WordPress. Он предпочтительнее, чем ручная печать мета-тега в шаблоне, потому что не ломает совместимость с другими плагинами, которые тоже управляют robots-правилами.

Если нужно закрыть только часть архивов

Иногда закрывать все пагинированные архивы не нужно. Например, категории важны, а авторские архивы — нет. Тогда можно сузить условие:

<?php
add_filter( 'wp_robots', function( array $robots ) {
    if ( is_paged() && is_author() ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Такой подход удобен, если вы хотите оставить в индексе основные разделы, но убрать второстепенные архивы, которые не дают трафика и создают шум.

Что делать с robots.txt

Если у вас есть технические URL, которые не должны обходиться, их можно ограничить в robots.txt. Но для пагинации архивов это не основной инструмент. Пример — если на сайте есть служебные страницы поиска с параметрами или внутренние пути, которые не должны расходовать crawl budget.

User-agent: *
Disallow: /?s=
Disallow: /search/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Не добавляйте в robots.txt массовый запрет на /page/ без анализа. Это может закрыть не только архивы, но и полезные разделы, а поисковик всё равно увидит ссылки на эти URL и продолжит учитывать их как найденные, но недоступные.

Проверка результата после внедрения

После правки не ограничивайтесь просмотром исходника на одной странице. Проверьте несколько уровней.

• Откройте страницу архива и убедитесь, что в коде есть noindex,follow.
• Проверьте, что canonical указывает на саму страницу или на ожидаемый URL, а не на случайную запись.
• Посмотрите, не исчезли ли из индекса страницы, которые должны оставаться доступными.
• В Search Console отправьте на повторную проверку несколько URL пагинации.
• Через пару обходов проверьте, уменьшилось ли число дублей в отчёте по индексированию.

Если у вас есть доступ к логам сервера, полезно посмотреть, как бот ходит по архивам после изменения. Иногда проблема не в индексации, а в том, что бот слишком активно обходит глубокие страницы из-за внутренних ссылок.

Частые ошибки и как их исправить

Ставят noindex только на первую страницу

Это частая путаница. Первая страница архива обычно и так нужна в индексе, а проблема возникает на /page/2/ и дальше. Если закрыть только первую страницу, вы ничего не решите.

Закрывают пагинацию через robots.txt и ждут исчезновения дублей

Запрет обхода не равен удалению из индекса. Если URL уже известны поисковику, он может продолжать учитывать их как найденные, но недоступные. Для дублей архивов надёжнее noindex.

Ломают canonical вручную

Иногда в шаблоне ставят canonical на первую страницу категории для всех страниц пагинации. Это может выглядеть логично, но в ряде тем и плагинов приводит к конфликтам и путанице в сигналах. Если нет чёткой причины, лучше оставить canonical стандартным и управлять индексированием через robots-мета.

Забывают про фильтры и параметры

Если на сайте есть сортировка, поиск по сайту или фильтры, пагинация может генерироваться ещё и с параметрами. Тогда закрывать нужно не только чистые URL /page/N/, но и связку с параметрами, если она создаёт дубли.

Чек-лист перед публикацией изменений

• Проверить, какие архивы реально должны индексироваться.
• Убедиться, что пагинация не несёт отдельной ценности для поиска.
• Выбрать один основной способ: плагин или код.
• Проверить robots-мета на нескольких типах архивов.
• Не закрывать полезные страницы через robots.txt без необходимости.
• После изменений перепроверить Search Console и исходный код.

Практические советы по безопасности и производительности

Если вы вносите правки кодом, не редактируйте родительскую тему напрямую. Используйте дочернюю тему или мини-плагин, иначе обновление затрёт изменения. Для небольших технических правок мини-плагин часто даже удобнее: меньше риск случайно сломать шаблон.

Ещё один момент — не плодите несколько решений одновременно. Если SEO-плагин уже выводит noindex, а вы сверху добавили свой фильтр и ручной meta-тег в шаблоне, получите конфликт. В технической оптимизации WordPress лучше одно правило на один тип страницы, чем три слоя с одинаковой задачей.

Если нужен более широкий аудит дублей, технической чистки и скрытия лишних архивов, имеет смысл смотреть не только на пагинацию, но и на служебные страницы, вложения, теги и авторские архивы. В таких задачах обычно выигрывает не точечный «хак», а системная настройка индексации сайта.