Рубрикатор и фильтры каталога без дублей

Каталог начинается не с карточек товаров, а с языка клиента

Поставщик может передать 30 000 товаров в XML, CSV или JSON. Это ещё не SEO-каталог. В выгрузке обычно есть названия поставщика, внутренние артикулы, разрозненные характеристики и категории, удобные для учёта. Покупатель ищет иначе.

Он вводит не «модель 78210», а «красные термокружки с логотипом», «детские рюкзаки для школы», «мёд в баночках 30 мл для welcome-набора» или «ветровки с вышивкой для команды».

Рубрикатор переводит ассортимент на язык такого спроса. Он связывает товары, задачи покупателей и индексируемые страницы. Поэтому правильная последовательность выглядит так:

1. Собрать реальные поисковые формулировки.
2. Нормализовать свойства товаров.
3. Построить дерево основных категорий.
4. Добавить фильтры для выбора.
5. Отобрать комбинации, которым нужны отдельные SEO-страницы.
6. Настроить ссылки, метаданные, sitemap и правила обхода.
7. Измерять показы, переходы, глубину и заявки по каждой группе страниц.

Главная ошибка: сначала создать все возможные комбинации, а затем пытаться наполнить их смыслом. Такой подход быстро производит тысячи пустых или почти одинаковых URL.

Четыре сущности, которые нельзя смешивать

Для владельца сайта категория, фильтр и подборка могут выглядеть одинаково: заголовок, товары и несколько переключателей. Для архитектуры это разные сущности.

Фильтр должен работать для всех допустимых параметров. SEO-подборка создаётся только для выбранной комбинации. Это позволяет оставить пользователю гибкий интерфейс и одновременно не отдавать поисковому роботу бесконечное пространство URL.

Как построить рубрикатор

Уровень 1. Основная потребность

Первый уровень должен быть понятен без профессионального словаря поставщика. Для каталога мерча это могут быть одежда, посуда, сумки, электроника, упаковка, подарочные наборы. Для каталога мёда: натуральный мёд, крем-мёд, наборы, оптовая фасовка.

Уровень 2. Тип продукта

Внутри одежды появляются футболки, поло, худи, куртки, ветровки, шапки и шарфы. Внутри мёда: акациевый, каштановый, таёжный, разнотравье, крем-мёд с наполнителями.

Уровень 3. Сценарий выбора

Этот уровень часто нельзя строить только по типу товара. Покупатель выбирает по задаче:

• для сотрудников;
• для конференции;
• для школы;
• для welcome-набора;
• для новогоднего подарка;
• для дегустации;
• для HoReCa;
• под конкретную технологию нанесения.

Именно такие сценарии становятся основой коммерческих SEO-подборок и статей.

Уровень 4. Характеристики

Цвет, материал, объём, цена, наличие, пол, сезон, способ нанесения и размер нужны прежде всего для фильтрации. Отдельную индексируемую страницу стоит создавать только тогда, когда характеристика встречается в поисковом спросе и формирует полноценный выбор.

Например, «зелёные термокружки» могут быть самостоятельной страницей, если в каталоге достаточно моделей и клиенты действительно ищут товар по цвету. Комбинация «зелёные термокружки 473 мл с крышкой без ручки до 5000 драм» почти наверняка должна остаться рабочим фильтром.

Как определить, нужна ли комбинации отдельная страница

Для публикации можно использовать простую матрицу допуска. Страница получает индексируемый URL, если проходит большинство критериев.

Для крупного каталога полезно зафиксировать технические пороги. Например:

• минимум 8 доступных товаров для постоянной рубрики;
• минимум 4 товара для узкой сезонной подборки;
• подтверждённый спрос или коммерческая задача;
• не менее двух уникальных смысловых блоков;
• хотя бы две внутренние ссылки на страницу;
• отсутствие другой страницы с тем же интентом.

Это не требования поисковых систем. Это внутренние правила качества. Для редкой промышленной категории даже три позиции могут составлять полноценный выбор. Для массовых футболок восемь позиций будут выглядеть бедно. Порог нужно задавать отдельно по товарным группам.

Пример Impulse Media: один ассортимент, несколько путей выбора

В публичном разделе корпоративной одежды Impulse Media представлено 1648 моделей и 20 типов одежды. Пользователь может уточнять цвет, материал и наличие. Отдельно существуют посадочные рубрики, например ветровки с логотипом и вязаный мерч.

На одном массиве товаров можно построить несколько полезных путей:

• по типу: худи, футболки, поло, ветровки;
• по получателю: сотрудники, дети, участники мероприятия;
• по сезону: летняя форма, демисезонная одежда, зимний мерч;
• по технологии: одежда с вышивкой, DTF-печатью, шелкографией;
• по задаче: welcome-набор, промоформа, корпоративная коллекция;
• по цвету бренда: зелёная, красная, синяя одежда.

Товар может находиться сразу в нескольких рубриках. Это нормально, если каждая страница отвечает на свой вопрос, а карточка товара имеет один стабильный канонический URL.

Пример BeeDance: узкий каталог тоже можно расширять

В каталоге BeeDance сейчас 33 товара. Фильтры учитывают тип продукта, вкусовой профиль, объём, наполнитель и сценарий использования. Каждый вкус выпускается в нескольких форматах от 30 до 200 мл.

Даже при небольшом количестве товаров можно создать полезную архитектуру:

• основная категория «Натуральный мёд»;
• категория «Крем-мёд»;
• страницы вкусов: акация, каштановый, таёжный;
• страницы объёмов: мёд 30 мл, 75 мл, 100 мл;
• сценарии: дегустационные баночки, мёд для подарочных наборов, фасовка для бизнеса;
• B2B-страницы: мёд оптом, СТМ, HoReCa, корпоративные подарки.

Страница «Акациевый мёд 30 мл» отличается от общей категории не только размером банки. На ней можно объяснить массу продукта, число порций, роль в welcome-наборе, упаковку и условия заказа. Это уже самостоятельный ответ, а не копия списка товаров.

Почему нельзя индексировать каждый фильтр

Фасетная навигация быстро умножает URL. Если есть 10 цветов, 8 материалов, 6 объёмов, 5 ценовых диапазонов и 4 варианта наличия, система теоретически создаёт 9600 комбинаций. После добавления сортировки, пагинации и порядка параметров число адресов становится ещё больше.

Google предупреждает, что фасетные URL могут создавать практически бесконечное пространство адресов. Робот тратит ресурсы на бесполезные комбинации и позже находит новые важные страницы. Яндекс также рекомендует проверять GET-параметры фильтров и использовать Clean-param для параметров, которые меняют адрес, но не создают новый полезный документ.

Негативные последствия:

• дублирующиеся списки товаров;
• одинаковые Title, H1 и Description;
• пустые страницы;
• конкуренция нескольких URL по одному запросу;
• расход ресурсов обхода;
• сложная аналитика;
• нестабильные страницы после обновления остатков.

Google отдельно относит массовую генерацию малоценных страниц ради поисковых позиций к scaled content abuse. Похожие промежуточные страницы, созданные только для охвата вариантов запроса, могут рассматриваться как doorway abuse. Поэтому автоматизация должна масштабировать пользу, а не только количество URL.

Практическая схема URL

Индексируемые страницы

Используйте короткие стабильные адреса:

/catalog/termokruzhki/
/catalog/termokruzhki/s-logotipom/
/catalog/termokruzhki/krasnye/
/catalog/odezhda/vetrovki/
/catalog/med/akatsiya/30-ml/

Каждая такая страница получает собственные Title, Description, H1, текст, FAQ, хлебные крошки, ссылки и self-canonical.

Неиндексируемые состояния интерфейса

Параметры сортировки, вида списка и временных условий не должны становиться посадочными страницами:

/catalog/termokruzhki/?sort=price_asc
/catalog/termokruzhki/?view=list
/catalog/termokruzhki/?utm_source=newsletter
/catalog/termokruzhki/?color=red&volume=473&stock=1

Для таких адресов выбирают комбинацию мер:

• не ставят на них постоянные индексируемые ссылки;
• задают каноническую страницу, если содержимое является вариантом основной рубрики;
• закрывают технические параметры от обхода через robots.txt, когда индексация точно не нужна;
• используют Clean-param для Яндекса, если параметр не меняет полезное содержание;
• не включают адреса в XML sitemap;
• не создают отдельные метаданные, которые случайно превратят технический URL в конкурента категории.

Важно: robots.txt, noindex и canonical решают разные задачи. Если URL заблокирован в robots.txt, робот может не увидеть размещённый на странице noindex или canonical. Поэтому сначала определяется цель: прекратить обход, исключить документ из поиска или объединить дубли.

Минимальный HTML индексируемой рубрики выглядит так:

<head>
  <title>Зелёные термокружки с логотипом для сотрудников</title>
  <meta name="description"
        content="Подборка зелёных термокружек для офиса и welcome-наборов. Подберём нанесение и рассчитаем тираж.">
  <meta name="robots" content="index, follow">
  <link rel="canonical"
        href="https://example.com/catalog/termokruzhki/zelenye-dlya-sotrudnikov/">
</head>

<nav aria-label="Хлебные крошки">
  <a href="/catalog/">Каталог</a>
  <a href="/catalog/termokruzhki/">Термокружки</a>
  <span>Зелёные термокружки</span>
</nav>

Title, H1, видимый текст и список товаров должны описывать одну и ту же подборку. Метаданные не могут исправить страницу, которая фактически показывает другой ассортимент.

Пустые и бессмысленные комбинации

Если фильтр не возвращает товаров, Google рекомендует отдавать HTTP 404. Не нужно перенаправлять все пустые комбинации на главную категорию. Для ошибочного порядка или повторяющегося параметра также лучше вернуть корректный 404 либо нормализовать адрес постоянным редиректом.

Как автоматически создавать уникальные метаданные

Автоматическая генерация начинается не с шаблона Title, а со словаря нормализованных значений. Сырые данные поставщика использовать нельзя.

Пример справочника:

{
  "category": {
    "termokruzhki": {
      "name": "термокружки",
      "accusative": "термокружки",
      "offer": "с нанесением логотипа"
    }
  },
  "color": {
    "green": {
      "label": "зелёные",
      "prepositional": "в зелёном цвете"
    }
  },
  "useCase": {
    "employees": {
      "label": "для сотрудников",
      "benefit": "для офиса, welcome-наборов и корпоративных подарков"
    }
  }
}

Из такого справочника можно собрать естественные фразы:

Title: Зелёные термокружки с логотипом для сотрудников
H1: Зелёные термокружки с нанесением логотипа
Description: Подборка зелёных термокружек для офиса, welcome-наборов и корпоративных подарков. Подберём модель, технологию нанесения и рассчитаем тираж.

Нельзя просто соединять значения через запятую:

Плохо: Термокружки зелёный сотрудники металл купить цена

Google использует для заголовка результата не только <title>, но и H1, заметный текст страницы, og:title, анкоры внутренних и внешних ссылок. Если элементы противоречат друг другу, поисковик может сформировать свой заголовок. Поэтому вся страница должна описывать один интент.

Пример генератора на JavaScript

const page = {
  category: "термокружки",
  adjective: "зелёные",
  offer: "с логотипом",
  useCase: "для сотрудников",
  benefits: "для офиса, welcome-наборов и корпоративных подарков",
  count: 42,
  slug: "/catalog/termokruzhki/zelenye-dlya-sotrudnikov/"
};

function buildSeo(page) {
  const title = `${page.adjective} ${page.category} ${page.offer} ${page.useCase}`;
  const h1 = `${page.adjective} ${page.category} ${page.offer}`;
  const description = [
    `${page.count} моделей: ${page.benefits}.`,
    "Подберём нанесение и рассчитаем тираж."
  ].join(" ");

  return {
    title,
    h1,
    description,
    canonical: `https://example.com${page.slug}`
  };
}

В реальном проекте генератор должен дополнительно:

• проверять грамматику и согласование слов;
• удалять повторения;
• не выводить нулевое или устаревшее количество товаров;
• ограничивать пустые рекламные слова;
• сравнивать новый Title с уже опубликованными;
• проверять соответствие H1 фактическому набору товаров;
• подставлять город только на реальной региональной странице;
• формировать резервный вариант, если часть данных отсутствует.

У поисковых систем нет обязательной длины Title или Description. Внутренние ориентиры можно использовать как контроль читаемости, но не как формальное требование. Важнее точность, различимость страниц и соответствие содержимому.

Уникальность страницы создаётся не перестановкой слов

Для индексируемой комбинации недостаточно заменить цвет и название категории. Полезная страница должна содержать данные, которые меняются вместе с выборкой:

• реальное число доступных моделей;
• диапазон цен;
• материалы и технологии нанесения;
• сроки или условия поставки;
• популярные форматы;
• примеры применения;
• ответы на вопросы именно по этой группе;
• связанные категории и альтернативы;
• фотографии подходящих товаров или кейсов;
• понятный следующий шаг.

Для страницы «термокружки с круговой печатью» стоит объяснить требования к макету, рабочую область, ограничения конструкции и пригодность моделей. Для страницы «мёд 30 мл для welcome-наборов» важны масса, количество порций, варианты этикетки, коробки и расчёт партии. Это два разных коммерческих сценария.

Как наращивать внутреннюю ссылочную массу

Внутренняя перелинковка распределяет внимание пользователей и поискового робота. Google подтверждает, что ссылки используются для обнаружения страниц и понимания их релевантности. Важная страница должна получать хотя бы одну обычную HTML-ссылку с другого документа.

1. Родительские и дочерние рубрики

Категория «Одежда» ссылается на футболки, поло, худи и ветровки. Каждая подрубрика возвращает пользователя к одежде и предлагает соседние группы.

2. Хлебные крошки

Цепочка показывает место страницы:

Каталог → Одежда → Ветровки → Ветровки с вышивкой

Ссылки должны быть доступны в HTML, а не только через JavaScript-обработчик. Google надёжно обходит конструкцию <a href="/catalog/odezhda/vetrovki/">Ветровки</a>.

3. Карточка товара

Карточка должна ссылаться не на десятки случайных фильтров, а на несколько полезных сущностей:

• основную категорию;
• тип товара;
• подходящую технологию нанесения;
• сценарий использования;
• похожие и сопутствующие товары.

4. Связанные рубрики

Используйте смысловые связи: ежедневники связаны с ручками и кожаными аксессуарами; пледы со свечами, кружками и чаем; рюкзаки с бутылками, электроникой и обвесами. Блок должен отвечать на вопрос «что ещё поможет собрать решение», а не просто показывать популярные ссылки.

5. Статьи и кейсы

Статья ведёт в подходящую рубрику, рубрика в карточки, карточка в заявку. Обратные ссылки тоже полезны: из категории можно вести на инструкцию по выбору, технологию производства или кейс.

Рабочая цепочка:

Экспертная статья → SEO-подборка → товар → расчёт проекта

6. Автоматический граф ссылок

Для каждой страницы можно хранить отношения в данных:

{
  "slug": "/catalog/termokruzhki/krasnye/",
  "parent": "/catalog/termokruzhki/",
  "siblings": [
    "/catalog/termokruzhki/sinie/",
    "/catalog/termokruzhki/zelenye/"
  ],
  "guides": [
    "/expertise/krugovaya-pechat-na-termokruzhkah/"
  ],
  "commercialNext": "/website-development/"
}

Генератор строит хлебные крошки, соседние подборки, полезные материалы и CTA. При этом нужно ограничить количество ссылок и проверять их контекст. Магического идеального числа ссылок нет. Если блок становится нечитаемым, он уже не помогает пользователю.

Как получать внешние ссылки без покупки мусорных размещений

Внешняя ссылочная масса не создаётся каталогом автоматически. Её получают страницы, на которые действительно есть причина ссылаться.

Для коммерческого сайта такими активами могут быть:

• открытый калькулятор тиража;
• таблица совместимости материалов и способов нанесения;
• шаблоны технического задания;
• справочник объёмов, размеров и веса;
• исследование цен или сроков по рынку;
• прозрачный кейс с исходными данными и результатом;
• интерактивный конструктор набора;
• бесплатная коллекция мокапов;
• отраслевой рейтинг с понятной методологией.

После публикации материал можно отправить клиентам, партнёрам, профильным медиа, поставщикам и профессиональным сообществам. Ссылка должна появляться потому, что источник помогает читателю.

Покупка массовых ссылок, автоматические каталоги и обмен нерелевантными статьями создают риск, но редко создают устойчивый бизнес-эффект. Для оплаченного размещения Google рекомендует использовать атрибут rel="sponsored" или nofollow. Пользовательская ссылка должна получать ugc или nofollow, если вы не контролируете её качество.

Sitemap, пагинация и обновление каталога

XML sitemap должен содержать только канонические URL, которые вы хотите видеть в поиске:

• основные категории;
• разрешённые SEO-подборки;
• карточки доступных товаров;
• статьи и кейсы.

Не включайте сортировку, технические фильтры, параметры аналитики и пустые страницы. Sitemap помогает поисковику обнаруживать адреса, но не гарантирует их индексацию. Внутренние ссылки всё равно обязательны.

Для длинных списков используйте отдельные URL пагинации и обычные ссылки «следующая» и «предыдущая». Кнопка «Показать ещё» может оставаться для интерфейса, но робот должен иметь путь к следующим товарам через <a href>. Каждая страница пагинации должна показывать реальную часть списка и не вести в бесконечную последовательность пустых страниц.

После обновления XML или CSV генератор должен:

1. Обновить товары и остатки.
2. Пересчитать количество товаров в рубриках.
3. Отключить пустые комбинации.
4. Сохранить URL рубрик, которые продолжают решать ту же задачу.
5. Поставить 301 только при реальной замене страницы.
6. Обновить sitemap и дату изменения.
7. Проверить битые внутренние ссылки.
8. Зафиксировать изменения в журнале сборки.

Техническая модель для начинающего разработчика

Минимальная система может состоять из пяти файлов данных:

products.json       товары и нормализованные свойства
taxonomy.json       дерево категорий и словари значений
seo-pages.json      разрешённые индексируемые комбинации
relations.json      внутренние связи между страницами
redirects.json      старые и новые URL

Во время сборки статического сайта скрипт:

1. Читает товары.
2. Раскладывает их по категориям.
3. Создаёт только комбинации из seo-pages.json.
4. Подставляет метаданные из словарей.
5. Формирует HTML со ссылками и товарами.
6. Добавляет self-canonical.
7. Создаёт sitemap.
8. Проверяет дубли Title, H1, Description и URL.

Пример правила публикации:

function canPublishSeoPage(page, products, existingIntents) {
  const matching = products.filter(page.matches);

  return (
    page.searchDemand === true &&
    matching.length >= page.minimumProducts &&
    page.hasUniqueContent === true &&
    page.inboundLinks >= 2 &&
    !existingIntents.has(page.intent)
  );
}

Такой генератор можно использовать без CMS. HTML создаётся заранее, быстро открывается и доступен роботу сразу. Клиент получает масштабируемый каталог, а разработчик сохраняет контроль над каждой индексируемой страницей.

Контроль качества перед публикацией

Проверьте каждую новую группу страниц по чек-листу:

• URL читаемый и стабильный;
• страница отвечает кодом 200;
• canonical ведёт на саму страницу;
• Title, H1 и Description соответствуют выборке;
• в списке есть товары;
• текст и FAQ относятся именно к этой комбинации;
• хлебные крошки работают;
• есть входящие внутренние ссылки;
• ссылки сделаны через <a href>;
• страница добавлена в sitemap;
• нет конкурирующего URL с тем же интентом;
• сортировки и технические параметры не попали в sitemap;
• мобильная версия содержит тот же основной контент и метаданные;
• события аналитики фиксируют фильтрацию, переход в товар и заявку.

Для массовой проверки нужен автоматический отчёт. Он должен показывать дубли метаданных, страницы без товаров, ответы не 200, неверные canonical, сиротские URL, слишком глубокие уровни и рубрики без поискового трафика.

Какие метрики смотреть после запуска

Оценивайте архитектуру не по общему количеству опубликованных страниц, а по качеству групп:

Через 30, 60 и 90 дней страницы без показов и без навигационной ценности нужно пересматривать. Их можно объединить с родительской рубрикой, закрыть от индексации или удалить с корректным статусом. Масштабируемая система должна уметь не только создавать, но и сокращать каталог.

Интерактивный блок для этой статьи

Для страницы на lavrushin.info можно сделать небольшой «Конструктор SEO-рубрики».

Пользователь выбирает:

• категорию;
• характеристику;
• сценарий применения;
• количество товаров;
• наличие поискового спроса.

Система показывает результат:

Создать SEO-страницу
URL: /catalog/termokruzhki/zelenye-dlya-sotrudnikov/
Title: Зелёные термокружки с логотипом для сотрудников
Режим: index, follow
Canonical: self
Нужно: текст, FAQ, 2 входящие ссылки, блок заявки

Или:

Оставить рабочим фильтром
Причина: нет отдельного спроса, только 2 товара, комбинация нестабильна
Режим: не добавлять в sitemap и внутреннюю SEO-навигацию

Такой инструмент делает статью полезной для владельца бизнеса и одновременно демонстрирует подход к разработке сложных каталогов.

Вывод

Рубрикатор не должен быть копией структуры поставщика. Это самостоятельная модель спроса и выбора.

Фильтры дают пользователю свободу. SEO-подборки дают поисковой системе стабильные и полезные страницы. Автоматическая генерация снижает стоимость масштабирования, но только при наличии словарей, правил допуска, контроля дублей и постоянной аналитики.

Рабочая формула:

Спрос → нормализованные данные → рубрики → полезные страницы → внутренние ссылки → заявка

Чем больше каталог, тем важнее не количество URL, а дисциплина их создания.

Частые вопросы

Нужно ли закрывать все фильтры в robots.txt?

Нет. Сначала определите, какие комбинации должны участвовать в поиске. Индексируемые подборки получают отдельные стабильные URL. Технические параметры сортировки и малополезные комбинации можно ограничивать. Нельзя одновременно заблокировать URL и рассчитывать, что робот обязательно увидит размещённый на нём noindex или canonical.

Можно ли сделать canonical со всех фильтров на основную категорию?

Можно для близких дублей, которые не должны ранжироваться отдельно. Нельзя делать это для полноценной SEO-подборки. У неё должен быть self-canonical, собственный интент и уникальная ценность.

Сколько товаров должно быть в рубрике?

Единого числа нет. Установите порог для каждой товарной группы. Страница должна давать реальный выбор и сохранять пользу при изменении остатков.

Можно ли автоматически создавать Title и Description?

Да. Используйте нормализованные словари, правила русского языка и проверку дублей. Метаданные должны описывать фактическое содержание, а не просто перечислять ключи.

Нужно ли делать отдельную страницу для каждого города?

Только если меняются условия: наличие, сроки, доставка, контакты, кейсы или предложение. Одинаковые региональные страницы с заменой города создают риск doorway pages.

Как быстро поисковик увидит новые рубрики?

Срок заранее не гарантируется. Помогают HTML-ссылки, sitemap, стабильный ответ 200 и отсутствие технических запретов. Sitemap сообщает об адресе, но не гарантирует обход или индексацию.