Понятие парсинга выдачи
Парсинг представляет собой автоматизированный процесс сбора данных с конкретного источника, которые в дальнейшем можно использовать и преобразовывать. Парсер поисковой выдачи – это специальная программа, настроенная на сбор нужной информации по заданным ключевым фразам. Выдача поисковых систем по итогу оформляется в табличном виде, которая содержит структурированные и полезные сведения.
Основная цель парсинга – сбор всей необходимой информации для возможности провести анализ сайтов конкурентов. Благодаря парсингу легко узнать лидеров поисковых систем для дальнейшей сео-оптимизации собственного сайта.
Так, парсер поможет установить, сколько страниц выдает в поисковой выдаче по определенной ключевой фразе, какие источники ссылаются на тот или иной сайт, параметры этих страниц, их анкоры, а также самые релевантные сайты, по мнению поисковиков.
Часто парсинг применяют, когда нужно найти сайты-доноры, чтобы разместить на них ссылки, потенциальных клиентов или контрагентов, либо же наиболее оптимальные ресурсы для размещения на них рекламы.
Парсер позволяет получить внушительное количество важной информации, которую в дальнейшем можно использовать при изучении конкурентов, разработке семантического ядра для собственного сайта или при заключении договоров с новыми партнерами.
Особенности начинающего парсера
Этот сервис функционирует относительно недавно, ему всего несколько месяцев, а потому нельзя сказать, что он входит в топовый список и рекомендуется большинством вебмастеров. Это настоящий пробел, который следует заполнить, так как этот инструмент способен на многое. Съемщик позиций веб-сайтов окажется актуальным не только для оптимизаторов, но и для тех, кто занимается маркетингов.
Чем отличается этот инструмент?
- Проверяет позиции в Гугле и Яндексе.
- Поддерживает десктопную и мобильную выдачу.
- Проверяет по графику (раз в сутки, за неделю или календарный месяц), а также при необходимости.
- Не ограничивается определенными регионами.
- Учитывает поддомены в регионах.
- Поддерживает глубину парсинга в значении 50.
- Выгружает отчеты в форматах XLSX и HTML.
- Уведомляет по электронной почте о том, что парсинг закончен.
Преимущества сервиса являются следующими:
- Простота и удобство в применении интерфейса.
- Съем позиций сайта в автоматическом режиме без необходимости постоянного контроля.
- Можно парсить позиции конкурентных ресурсов без ограничений.
В чем состоят уникальные черты съемщика?
- Можно анализировать подсветки, сниппеты совершенно бесплатной.
- Вы можете собирать сведения о гарантиях и количестве специальных публикаций бесплатно.
- Можно парсить цену за вход в специальной размещение и гарантии.
Как функционирует проверка
Стадия 1. Добавление адреса
Сначала нужно перейти по ссылке сервиса и указать адрес сайта, проверка которого будет осуществляться. Соблюдайте корректность написания URL-адреса, в противном случае, вы ничего не сможете проверить. В автоматическом режиме учитывают странички поддоменов в процессе сканирования. Это имеет большое значение, поэтому требует отдельного рассмотрения.
Вероятнее всего, вы столкнетесь с одним из двух сценариев:
- У вас есть всего один домен стандартного вида.
- У вас есть один главный домен и еще ряд региональных поддоменов или с тематической спецификой.
В первой ситуации необходимо просто ввести URL и перейти к другим установкам (выбрать поисковик, регион и вид выдачи, и пр.).
В другом случае то, что вы предпримете, будет зависеть от цели съема позиций сайта.
Определить позиции регионального поддомена в конкретной территории.
В такой ситуации вы можете:
- Указать главный домен и установить интересующую вас область, не ставьте отметку возле функции «не учитывать поддомен».
- Укажите поддомен, задайте территориальный регион и поставьте отметку возле приведенной выше опции.
- Определить позиции регионального поддомена не в своем регионе.
Этот вопрос актуален для веб-ресурсов, направленных на потенциальных заказчиков из других областей, но продающих продукцию в своем регионе. Речь идет о фирмах, специализирующихся на аренде машин, организации экскурсионных туров, агентствах по недвижимости.
Можно рассмотреть на конкретном примере. Произвольный поддомен http://www.spb.site.ru может продвигаться по запросу аренда недвижимости в СПб в московском регионе. Для чего это делают? Те, кто проживает в столице, но ищет для аренды недвижимость в Питере, в топе увидят региональный поддомен для сотрудничества не, а в Санкт-Петербурге.
Если учитывать этот факт в процессе парсинга, то при некорректных установках СЕО домен с московским регионом окажется выше в выдаче. Для съема позиций конкретного домена в СПб, нужно ввести его адрес, выбрать чужую область для работы съемщика и поставить отметку возле опции для отсутствия учета поддоменов. В такой ситуации вы получите правильное отображение позиций.
- Определить позиции поддоменов со специфической тематикой.
- К примеру, для определенной темы создается конкретный поддомен по типу http://www.t3t.site.ru. Чтобы мониторить действительные позиции пропишите адрес и поставьте отметку около опции для отсутствия учета поддоменов.
- Определить позиции главного веб-сайта.
- Если необходимо провести оценку позиций главного интернет-ресурса, указывается его адрес и ставится все та же отметки. Так, если страничка http://www.m.site.ru будет занимать десятую строчку, а основной сайт – пятидесятую, то в отчетности вы увидите именно 50-ю строку.
Стадия 2. Добавляем ключевики.
Следующий шаг предусматривает добавление ключевых фраз для того, чтобы мониторить позиции.
Выполнить это можно с помощью двух методов. Загружаем файлы в формате эксель-отчета. В такой ситуации сервис собирает запросы из первого листа, который содержится внутри файла. Абсолютно не имеет значения, в каком порядке будут расположены ключевики. Система распознает их так: для одной ячейки – один ключевой запрос. Поэтому их можно разместить таким образом:
Или таким:
А, если хотите, можете так:
Это целесообразно для загрузки семантики, где ключевые запросы могут быть прописаны сразу в нескольких столбиках.
Следите за тем, чтобы файл не содержал дополнительных указаний (это названия столбиков, ненужные заметки, различная информация в виде пометок). В противном случае системой будет собран отчет для этих запросов, что чревато лишними расходами.
Вставляем ключевики в виде списка. Каждый новый запрос будет идти с новой строчки, знаки препинания должны отсутствовать.
Если из-за случайности указываются одинаковые запросы, сервис их объединяет, а потому в отчетности прописывается один ключевик (так, и стоимость работы будет рассчитываться как за один ключ).
Стадия 3. Выбираем поисковик и регион.
Сервис подходит для мониторинга позиций в Гугле и Яндексе (или обеих системах одновременно).
Для нашей страны актуально проверять сразу в двух поисковиках, так как их доля является приблизительно аналогичной. Это актуально практически для всего постсоветского пространства, хотя в определенных странах уровень популярности Гугла может значительно превышать пользование Яндексом. Иногда парсить позиции в Яндексе совершенно бессмысленно из-за того, что главным образом, трафик приходится на Гугл. Также следует поступить, если вам коммерческий ресурс ориентирован на западные страны и их рынок.
Затем нужно указать регион. Сервис предлагает все регионы из любой точки мира. Вводите название страны и населенного пункта не латиницей, а знаками кириллицы.
Стадия 4. Выбираем тип выдачи.
Проверять позиции веб-ресурса можно в мобильной или десктопной. Какому виду вы отдадите предпочтение – это зависит от вашего усмотрения и целей, которые перед вами стоят.
Существует несколько наиболее распространенных сценариев:
- Объем мобильных пользователей и поток со стационарных компьютеров превышает 25 процентов для каждой из категорий (проверять позиции нужно по обоим типам, чтобы определить, какие запросы требуют подтягивания трафика).
- Объем пользователей ПК выше 75 процентов (проводите гарантированно проверку десктопного типа, однако поверка мобильной выдачи поможет узнать, почему трафик отсутствует – по объективным причинам или из-за конкретной проблемы вашего ресурса).
- Мониторинг позиций мобильных версий веб-ресурсов. Это могут быть поддомены, где парсится исключительно поиск по мобильному.
Стадия 5. Выбираем периодичность проверки.
В автоматическом режиме системой предусмотрена единичная проверка. При необходимости регулярной проверки потребуется активизировать соответствующую функцию.
Насколько часто необходимо осуществлять проверку:
- Единичная. Актуально для тех, кто только начинает осваивать сервис. Проверка несколько раз с различными установками позволяет определить, какие требуются настройки, а в каких нет никакой нужды. Также проверка необходима после проведения масштабного апдейта выдачи поисковиков.
- Каждый месяц. Эта частота актуальна для платформ, которые производят обновления несколько раз за месяц, когда раскрутка СЕО осуществляется не в оперативном порядке. Можно прописать любой день, и на это число каждый месяц будут приходить отчеты.
- Каждую неделю. При активном продвижении веб-сайта и добавлении или изменении контента один раз в несколько дней необходимо выставить такую частоту. Также можно выбрать день недели, когда будет формироваться отчетность.
- Каждый день. Ежедневное отслеживание позиций актуально исключительно при наличии мегапопулярного и масштабного проекта с непрерывным изменением контента, а также в ситуации, когда вы экспериментируете с СЕО. В других случаях определять динамику каждый день нецелесообразно.
Стадия 6. Запускаем парсинг и получаем результат проверки.
После установки настроек по сбору необходимо нажать на кнопку запуска. Системой моментально рассчитывается, во сколько обойдется выполнение такой задачи.
Время процедуры будет зависеть от числа ключевиков и настроек, установленных для сбора. К примеру, отчетность по сотне фраз для Яндекса и десктопной выдачи готовится на протяжении одной минуты.
При наличии крупной задачи после запуска проверки можно закрывать браузерную вкладку с сервисом. Когда отчет сформируется, он придет вам на почтовый ящик.
Отчетность будет открытой для доступа в перечне задач в таких форматах:
- Эксель-отчет. Это версия, которую можно скачать. Тут представлена полная информация о позициях ваших страниц.
- Html. Тут отображаются первоначальные установки для сбора, ключевики и позиции в указанных областях. Здесь содержится не больше четырех столбиков.
Стоимость проведения мониторинга
Цена за мониторинг выдачи по одной фразе в Google на одной территории в конкретном типе выдачи (мобайл или десктоп) составляет всего 4 копейки. Первая сотня ключевиков доступна на совершенно бесплатной основе.
Можно привести ряд примеров, как рассчитывается стоимость мониторинга в конкретных ситуациях.
- №1. Мониторинг позиций в Google (mobile, desktop).
- №2. Мониторинг выдачи в одной поисковой системе (mobile, desktop).
- №3. Мониторинг позиций в одном поисковике только по одному виду выдачи (mobile или desktop).
Образцы бюджетов на месяц для мониторинга позиций в поисковых системах для выдачи мобайл или десктоп (цены указываются в месяц):
- Для маленького онлайн магазина (одна область, две сотни ключевиков, еженедельный мониторинг) – 64 рубля.
- Региональный онлайн магазин (две области, пять сотен запросов, еженедельная проверка) – 320 рублей.
- Большой интернет-магазин, работающий в масштабах страны (десять регионов, пять тысяч фраз, еженедельная проверка) – 16 тыс. рублей.
- Личные информационные блоги (сотня ключевиков, ежемесячный мониторинг) – 8 рублей.
- Большой информационный ресурс, блог (тысяча запросов, еженедельная проверка) – 320 рублей.
- Тематический сервис в режиме онлайн, который активно развивается (десять регионов, две сотни фраз, ежедневный мониторинг) – 1,2 тыс. рублей.
Три специфических особенностей уникального парсера
Сервис для съема не только позволяет мониторить позиции, но и собирать ценную информацию, которая касается колдунщиков и сниппетов, расценок входа в блоки ЯндексДиректа. Предлагаем проанализировать этим моменты в деталях.
Особенность первая: парсинг Директа
Кроме мониторинга позиций этот сервис помогает получать дополнительную информацию по итогам поисковых операций. Так, это касается объявлений с рекламой е по ряду ключевых фраз (число специальных размещений, цена за вход и предоставление гарантии).
Что можно сделать с помощью этого функционала?
- Определить стратегию своих конкурентов. Можно узнать, какие блоки они используют – гарантию или специальное размещение.
- Выявить конкурентный уровень перед тем, как запускать мероприятия по контекстной рекламы (конкуренция и уровень «температуры» аукциона зависит от размещений и наличия гарантий по определенному запросу).
- Предвидеть настоящие расценки на вход в специальное размещение и гарантии (инструменты от Яндекса позволяют получить исключительно примерные данные оценки).
- Оптимизировать затраты, отыскать запросы с приемлемой стоимостью входа в гарантии и специальное размещение.
Как это функционирует на самом деле?
К примеру, вы владеете фирмой по продаже недвижимости и планируете купить контекстную рекламу в Директе в московской области по фразам:
- Снять недвижимость Москва.
- Купить дом за пять миллионов.
- Купить в столице таунхаус.
- Продать недвижимость в центре города.
Здесь невероятно высокий уровень конкуренции, а игроки владеют многими миллионами, поэтому, прежде чем запустить рекламную кампанию, уточните:
- Какие блоки для размещения целесообразно взять.
- Какие запросы дают недорогое размещение или гарантию.
Для того чтобы собрать сведения потребуется следующее:
- Пропишите адрес сайта, принадлежащего конкурентам (отметка около пункта об отсутствии учета поддоменов не ставится). Информация из директа не должна отличаться при перемене адреса конкурента, поэтому если вас волнует исключительно этот пункт, а не позиции поисковой выдачи, следует один раз парсить по определенному конкуренту.
- Ключевики.
- Поисковик (в ряде ситуаций хватает Яндекса, но для параллельного сбора позиций Гугл указывают и этот поисковик).
- Вид выдачи (сведения в Директе доступны исключительно для desktop, она указывается обязательно, а мобильная по усмотрению).
В строчке сбора информации в выдаче отмечают все графы в разделе директа и запускают мониторинг.
Затем нужно загрузить эксель-отчет и перейти на лист (название – это ваш регион, к примеру, Яндекс Спб или Москва). В итоге все будет выглядеть таким образом:
Какие будут выводы?
- Снять недвижимость Москва. Можно подавать объявление для размещения, так как расценки, как ни странно, меньше, по сравнению с гарантией.
- Купить дом за пять миллионов. Есть вероятность бороться за размещение, так как расценки за вход в обоих блоках отличаются несущественно.
- Купить в столице таунхаус. Можно подавать в гарантию из-за завышенной стоимости специального размещения.
- Продать недвижимость в центре города. Можно разместить в гарантиях из-за завышенной цены для специального размещения.
Стоимость функционала
Сбор данных по специальным размещениям и гарантиям совершенно бесплатный (если парсить позиции в обоих поисковиках одновременно).
Парсить вход можно за 0,04 рубля за один ключевой запрос в одной территориальной области. Так, если вам нужна вся информация по Яндекс Директу, дополнительная стоимость будет достигать 0,08 руб./запрос в одной области.
Особенности: парсим сниппеты
Собираются сведения из полученных в ТОПе позиций сниппетов для конкретного веб-ресурса:
- Тайтл.
- Описание (речь не идет о дексрипшне, в отчетности отражается текст, который есть в итогах поиска, что далеко не каждый раз совпадает с дескрипшном, в особенности, когда речь идет о Яндексе).
- Адрес страницы.
Что можно получить с их помощью:
- Проанализировать заголовки и описания, чтобы составить выделяющиеся среди конкурентов сниппеты.
- Проанализировать быстрые ссылки и определить, какие разделы на сайте поисковыми системами отображаются в расширенном виде, чтобы провести оптимизацию структуры своего коммерческого ресурса.
- Описания и заголовки, которая являются замечательным источником для семантического ядра LSI (нужно для расширения и большей глубины тематики).
Загрузите отчет в формате XLSX (эксель-отчетность), который будет выглядеть таким образом:
Что показывает практика?
К примеру, необходимо получить дополнительно семантику, чтобы написать публикацию по запросу «продать недвижимость в центре города». Для этого проводится парсинг описаний и подзаголовков по главным конкурентам (лучше, если их будет много), они копируются и проверяются в популярных СЕО-сервисах (текст.ру или адвего, и т. п.).
Вы получите перечень дополнительных запросов, которые нужно учитывать в процессе создания текстового контента:
Особенность третья: парсим подсветки и колдунщики
В ситуации, когда в ТОПе выдачи по продвигаемому запросу присутствует колдунщик, учтите, что это уменьшает показатель CTR, независимо от того, что страничка находится высоко в рейтинге (потому что пользователи могут оперативно получить ответ на определенную фразу и выйти из поиска, перейти на другие ресурсы). Это делает актуальность больших инвестиций в раскрутку по подобным ключевикам сомнительной.
Если проанализировать подсветки, можно сформировать заголовки, в которых будут находиться запросы, подсвечивающиеся чаще обычного. Также это является еще одним источником LSI. Иногда в подсветках содержатся не только фразы из поиска, но и подходящие по смысловой составляющей.
Как смотрятся результаты проверки подсветок в системе Яндекса:
Стоимость функционала минимальная, сейчас одновременный парсинг Гугла и Яндекса доступен бесплатно.
В заключение
Сервис помогает проверять позиции Интернет-ресурсов в ПС, в установленных регионах в выдаче двух видов – mobile/desktop. Также здесь присутствуют уникальные опции, отсутствующие в других парсерах. Это мониторинг данных в ЯндексДиректе, парсинг подсветок, сниппетов, и пр.
