Парсинг данных в Key Collector из Яндекс Вордстат: Легкий способ с XML River

В 2024 году профессионалы в области поисковой оптимизации столкнулись с трудностями при извлечении данных из Яндекс Вордстат при помощи привычных инструментов, таких как Key Collector. Яндекс усилил меры безопасности, что затруднило сбор статистики традиционными методами, также Яндекс внедрил новый Вордстат, с который Кей коллектор не смог подружиться. Процедуры по разогреву учетных записей, использованию прокси-серверов и решению капчи стали утомительными.

Корень проблемы

Изначально в сообществе SEO-специалистов вспыхнула волна негодования в адрес создателей Key Collector, многие ошибочно полагали, что причина кроется в их программном обеспечении. Однако, как разъяснили создатели:

«В связи с последними изменениями со стороны Яндекса на этапе входа в учетную запись могут возникать ошибки. Проблема связана с введением дополнительной проверки владельца аккаунта посредством ответов на секретные вопросы, запросов на ввод кода СМС, принятия телефонного звонка, проверки резервного электронного адреса и прочих мер.»

Разработчики подчеркнули, что они не могут контролировать работу сервиса Яндекс и вынуждены адаптироваться к изменениям условий.

Решение проблемы: XML River

Спустя некоторое время Key Collector 4 и Key Assort объявили об интеграции с сервисом XML River, предоставляющим возможность парсить ключевые фразы и базовую частотность из Вордстат без необходимости создавать и развивать учетные записи, приобретать прокси-серверы и решать капчу.

Стоимость парсинга 1000 запросов начинается от 10 рублей в базовом тарифном плане, что является доступной ценой для большинства специалистов по поисковой оптимизации.

Аналогичные возможности появились и в сервисе Arsenkin Tools, который позволяет снимать не только базовую, но также фразовую, точную и уточненную частотности. Однако Arsenkin Tools работает по модели подписки, где базовый тарифный план составляет 699 рублей в месяц, что может быть невыгодно для тех, кто не работает с семантикой регулярно.

Настройка парсинга через XML River

1. Зарегистрируйтесь в сервисе XML River и пополните баланс.
2. Перейдите во вкладку «Wordstat» и отметьте в разделе «Устройства» пункт «Все».
3. Обновите Key Collector до последней версии и активируйте модуль XML River.
4. Вставьте ключ из личного кабинета XML River в настройки Key Collector.
5. Настройте параметры парсинга:
   • Количество страниц (максимум 41)
   • Диапазон частотности
   • Региональность
   • Распределение по группам
6. Установите максимальную скорость парсинга (10 потоков).

Плюсы и минусы

Преимущества:

• Нет необходимости беспокоиться об учетных записях Яндекс, прокси-серверах и сервисах для разгадывания капчи.
• Относительно высокая скорость и точность парсинга.
• Решение проблем с парсингом за 10 минут.

Недостатки:

• Сервис платный.
• Не всегда собирает частотность по всем фразам (находится в стадии бета-версии).
• Не собирает точную частоту.

Восстановление функциональности парсеров Вордстата после обновления интерфейса

Яндекс Вордстат обновил внешний вид своего интерфейса, оставив старую версию доступной по адресу old.wordstat.yandex.ru. Это привело к тому, что многочисленные программы для извлечения данных перестали функционировать должным образом. Предлагаю решение, позволяющее восстановить их работоспособность.

Вот краткая инструкция, подробности можно запросить у ГПТ:

• Установка MITMProxy: mitmproxy.org.
• Создание скрипта перенаправления: Далее, создаем файл redirect.py со следующим кодом для перенаправления запросов:

Python

from mitmproxy import http

def request(flow: http.HTTPFlow) -> None: if flow.request.pretty_host == «wordstat.yandex.ru»: flow.request.host = «old.wordstat.yandex.ru»

• Запуск прокси-сервера: Используем команду shell

mitmweb -s redirect.py

для запуска прокси-сервера с нашим скриптом.

• Настройка SSL: Для работы с HTTPS-трафиком, MITMProxy использует собственный сертификат, который должен быть установлен на вашем устройстве. Для этого после запуска MITMProxy, откройте mitm.it в браузере, находясь в той же сети, что и прокси, и следуйте инструкциям.
• Настройка программы: В программе, которая требует доступа к Вордстату, настраиваем соединение через прокси по адресу 127.0.0.1:8080 (по умолчанию)

Дополнительно: Если вы приобретаете прокси-сервера у сторонних поставщиков, проверьте возможность настройки такого редиректа через их службу поддержки.

Альтернативные способы сбора частот

Если вам нужны точные частоты, вы можете использовать следующие альтернативные способы:

• Пересобрать частотности из Яндекс Директа в Key Collector (если этот функционал еще работает).
• Использовать сервис Arsenkin Tools.
• Использовать собственный парсер от XML River (требует дополнительных действий).
• Интеграция с Key Assort для парсинга точных частотностей.
• Пиксель тулз — в нем можно собрать семантику с нуля, при том практически автоматически, также собрать частоты, проверить конкуренцию и коммерцилизацию и сразу проверить позиции текущего сайта.
• Топвизор — есть различный функционал от сбора частот до сбора полной семантики и кластеризации, а также отслеживания позиций

Учитывая доступную стоимость и возможность легко решить проблему парсинга, интеграция XML River в Key Collector и альтернативные сервисы облегчают жизнь многим специалистам по поисковой оптимизации в продвижении сайтов.