/ 👁 318

Парсинг данных в Key Collector из Яндекс Вордстат: Легкий способ с XML River

5 2 голоса
Рейтинг статьи

В 2024 году профессионалы в области поисковой оптимизации столкнулись с трудностями при извлечении данных из Яндекс Вордстат при помощи привычных инструментов, таких как Key Collector. Яндекс усилил меры безопасности, что затруднило сбор статистики традиционными методами, также Яндекс внедрил новый Вордстат, с который Кей коллектор не смог подружиться. Процедуры по разогреву учетных записей, использованию прокси-серверов и решению капчи стали утомительными.

Корень проблемы

кей коллектор ошибка

Изначально в сообществе SEO-специалистов вспыхнула волна негодования в адрес создателей Key Collector, многие ошибочно полагали, что причина кроется в их программном обеспечении. Однако, как разъяснили создатели:

«В связи с последними изменениями со стороны Яндекса на этапе входа в учетную запись могут возникать ошибки. Проблема связана с введением дополнительной проверки владельца аккаунта посредством ответов на секретные вопросы, запросов на ввод кода СМС, принятия телефонного звонка, проверки резервного электронного адреса и прочих мер.»

Разработчики подчеркнули, что они не могут контролировать работу сервиса Яндекс и вынуждены адаптироваться к изменениям условий.

Читайте также!  Как запустить AutoCAD и Autodesk 3Ds Max после блокировки в России

Решение проблемы: XML River

Спустя некоторое время Key Collector 4 и Key Assort объявили об интеграции с сервисом XML River, предоставляющим возможность парсить ключевые фразы и базовую частотность из Вордстат без необходимости создавать и развивать учетные записи, приобретать прокси-серверы и решать капчу.

Стоимость парсинга 1000 запросов начинается от 10 рублей в базовом тарифном плане, что является доступной ценой для большинства специалистов по поисковой оптимизации.

Аналогичные возможности появились и в сервисе Arsenkin Tools, который позволяет снимать не только базовую, но также фразовую, точную и уточненную частотности. Однако Arsenkin Tools работает по модели подписки, где базовый тарифный план составляет 699 рублей в месяц, что может быть невыгодно для тех, кто не работает с семантикой регулярно.

Настройка парсинга через XML River

настройка парсинга

  1. Зарегистрируйтесь в сервисе XML River и пополните баланс.
  2. Перейдите во вкладку «Wordstat» и отметьте в разделе «Устройства» пункт «Все».
  3. Обновите Key Collector до последней версии и активируйте модуль XML River.
  4. Вставьте ключ из личного кабинета XML River в настройки Key Collector.
  5. Настройте параметры парсинга:
    • Количество страниц (максимум 41)
    • Диапазон частотности
    • Региональность
    • Распределение по группам
  6. Установите максимальную скорость парсинга (10 потоков).

Плюсы и минусы

Преимущества:

  • Нет необходимости беспокоиться об учетных записях Яндекс, прокси-серверах и сервисах для разгадывания капчи.
  • Относительно высокая скорость и точность парсинга.
  • Решение проблем с парсингом за 10 минут.

Недостатки:

  • Сервис платный.
  • Не всегда собирает частотность по всем фразам (находится в стадии бета-версии).
  • Не собирает точную частоту.

Восстановление функциональности парсеров Вордстата после обновления интерфейса

Яндекс Вордстат обновил внешний вид своего интерфейса, оставив старую версию доступной по адресу old.wordstat.yandex.ru. Это привело к тому, что многочисленные программы для извлечения данных перестали функционировать должным образом. Предлагаю решение, позволяющее восстановить их работоспособность.

Вот краткая инструкция, подробности можно запросить у ГПТ:

  • Установка MITMProxy: mitmproxy.org.
  • Создание скрипта перенаправления: Далее, создаем файл redirect.py со следующим кодом для перенаправления запросов:

Python

from mitmproxy import http

def request(flow: http.HTTPFlow) -> None: if flow.request.pretty_host == «wordstat.yandex.ru»: flow.request.host = «old.wordstat.yandex.ru»

  • Запуск прокси-сервера: Используем команду shell

mitmweb -s redirect.py

для запуска прокси-сервера с нашим скриптом.

  • Настройка SSL: Для работы с HTTPS-трафиком, MITMProxy использует собственный сертификат, который должен быть установлен на вашем устройстве. Для этого после запуска MITMProxy, откройте mitm.it в браузере, находясь в той же сети, что и прокси, и следуйте инструкциям.
  • Настройка программы: В программе, которая требует доступа к Вордстату, настраиваем соединение через прокси по адресу 127.0.0.1:8080 (по умолчанию)

Дополнительно: Если вы приобретаете прокси-сервера у сторонних поставщиков, проверьте возможность настройки такого редиректа через их службу поддержки.

Альтернативные способы сбора частот

Если вам нужны точные частоты, вы можете использовать следующие альтернативные способы:

  • Пересобрать частотности из Яндекс Директа в Key Collector (если этот функционал еще работает).
  • Использовать сервис Arsenkin Tools.
  • Использовать собственный парсер от XML River (требует дополнительных действий).
  • Интеграция с Key Assort для парсинга точных частотностей.
  • Пиксель тулз — в нем можно собрать семантику с нуля, при том практически автоматически, также собрать частоты, проверить конкуренцию и коммерцилизацию и сразу проверить позиции текущего сайта.

Учитывая доступную стоимость и возможность легко решить проблему парсинга, интеграция XML River в Key Collector и альтернативные сервисы облегчают жизнь многим специалистам по поисковой оптимизации в продвижении сайтов.

Ссылка на основную публикацию
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x
О НАС | Крикет России / cricket russia. Вывод средств из онлайн казино. Президент — Сорокин Александр Андреевич,+79263539070 (whatsapp).
Мы используем cookie. Это позволяет нам анализировать взаимодействие посетителей с сайтом и делать его лучше. Продолжая пользоваться сайтом, вы соглашаетесь с использованием файлов cookie.
Понятно
Политика конфиденциальности