YouTube-Parser может собирать поисковую выдачу YouTube по множеству критериев и по множеству ключевых слов. Ключевые слова для парсинга могут задаваться с использованием поисковых операторов.
В шаблоне есть уникальная функция по сбору поисковой выдачи в обход максимального количества страниц, которое отдаёт YouTube при поиске. Шаблон также позволяет собирать выдачу не обращаясь к API, что в ненешних условиях снижения квоты окажется полезным.
Ниже представлены настройки парсинга поисковый выдачи YouTube и пояснения к ним.
Парсинг поисковой выдачи (без API)
Парсинг поисковой выдачи без использования API позволяет собрать выдачу по видео в YouTube минуя использование квоты. Благодаря этому методу парсинга вы можете парсить выдачу не беспокоясь об израсходовании квоты API YouTube. Тем не менее у данного метода есть ограничения — он позволяет собирать только данные о видео и без использования фильтров выдачи.
Источник поискового запроса:
Поисковой запрос — парсинг поисковой выдачи YouTube по одному ключу.
Файл — парсинг поисковой выдачи YouTube по множеству ключей из списка запросов
Поисковой запрос — в строке указывается поисковой запрос, по которому будет собираться поисковая выдача
Путь к файлу со списком поисковых запросов — в строке указывается путь к файлу со списком поисковых запросов
Каждый запрос с новой строки.
Количество результатов на ключ — в строке указывается значение, ограничивающее сбор результатов на 1 ключ.
Количество страниц парсинга — в строке указывается значение количества страниц парсинга
Значение по умолчанию: 40 страниц.
Парсинг поисковой выдачи
Источник поискового запроса:
Поисковой запрос — парсинг поисковой выдачи YouTube по одному ключу.
Файл — парсинг поисковой выдачи YouTube по множеству ключей из списка запросов
Поисковой запрос — в строке указывается поисковой запрос, по которому будет собираться поисковая выдача
Путь к файлу со списком поисковых запросов — в строке указывается путь к файлу со списком поисковых запросов
Каждый запрос с новой строки.
Сущность для поиска — тип контента, который будет в результате сбора поисковой выдачи
- Видео
- Плейлист
- Канал
- Трансляция
Для парсинга плейлистов и каналов есть ограничения по фильтрам. Некоторые фильтры не будут учитываться при парсинге.
Список фильтров смотрите ниже.
Тип трансляций — фильтр по типу трансляций
- Активные
- Завершённые
- Предстоящие
Ссылка на канал для поиска сущностей — в строке указывается ссылка на канал среди которого будет произведён поиск видео или плейлистов.
Формат: https://www.youtube.com/channel/ID
Ссылка с Username — не поддерживается.
Порядок выдачи — результат выдачи отсортированный по указанному критерию
- По релевантности — сущности самые схожие к поисковому запросу и теме.
- По дате загрузки — возвращает данные сущности по дате загрузки.
- По числу просмотров — возвращает данные сущности по количеству просмотров.
- По рейтингу — возвращает данные сущности учитывая рейтинг.
- По названию — сортирует выдачу в алфавитном порядке в соответствии с поисковым запросом.
- По количеству загруженных видео — сортирует выдачу учитывая каналы на которых больше всего видео.
Опубликованные после — фильтрация выдачи данных сущности опубликованных после определённой даты
Формат: 10.12.2017
Опубликованные до — фильтрация выдачи данных сущности опубликованных до определённой даты
Формат: 10.12.2017
Код страны — возвращает данные сущностей в поисковой выдаче для определённой страны.
Указывается код страны по стандарту: iso 3166-1 alpha-2
Фильтр эмулирует поисковую выдачу для определённой страны. Если необходимо получить выдачу для Японии, то следует указать код этой страны в фомате ISO 3166-1 alpha-2. Это стандартное двухбуквенное обозначение страны. Список кодов всех стран может узнать в Википедии: https://ru.wikipedia.org/wiki/ISO_3166-1
Пример: “JP” — Япония или “US” — США.
Похожие на видео — поиск видео похожих на целевое
Язык видео — возвращает данные сущностей в поисковой выдаче учитывая язык видео.
Указывается код языка по стандарту: ISO 639-1
Пример: “JA” — Японский или “EN” — Англ.
Безопасный поиск — фильтрация поисковой выдачи с применением ограничений на контент
Не фильтровать — отключить фильтрацию по данному параметру
Умеренный — исключает из выдачи контент, который получил пометку «неприемлимого» базируясь на вашей геопозиции и языку. Если вы из России, то в выдаче не будет присутствовать контент на русском языке или языке странг СНГ, который получил пометку «неприемлимого».
Строгий — исключает из выдачи весь контент, который получил пометку «непримелимого».
Категория видео — фильтрация поисковой выдачи по категориям видео
- Не фильтровать
- Транспорт
- Фильмы и анимация
- Музыка
- Животные
- Спорт
- Путешествия
- Компьютерные игры
- Люди и Блоги
- Развлечения
- Новости и политика
- Хобби и стиль
- Образование
- Наука и технологии
- Некоммерческие организации
- Юмор
Наличие субтитров — фильтрация поисковой выдачи по наличию субтитров в видео
- Не фильтровать
- Только с субтитрами
- Без субтитров
Разрешение видео — фильтрация поисковой выдачи по размерам видео
- Не фильтровать
- HD 1080
- Стандартное
Измерение видео — фильтрация поисковой выдачи по измерению видео
- Не фильтровать
- 2D
- 3D
Продолжительность видео — фильтрация поисковой выдачи по продолжительности видео
- Длинное — видео более 20 минут
- Среднее — видео от 4 до 20 минут
- Короткое — видео меньше 4 минут
Возможность встраивания — фильтрация поисковой выдачи видео с возможность встраивания в формы и блоки сайта
- Не фильтровать
- Да
Возможность просматривать на других сайтах — фильтрация поисковой выдачи с учётом возможности просмотреть видео на другом сайте
- Не фильтровать
- Да
Фильтр работает только при парсинге видео
Лицензия YouTube — фильтрация поисковой выдачи с учётом лицензии на видео
- Не фильтровать
- YouTube License
- Creative Commons
Выполнять сбор статистических данных видео — опция включает сбор «просмотров», «лайков», «дизлайков» для видео.
Включенная функция значительно увеличивает время парсинга поисковой выдачи. По умолчанию отключена.
Парсинг поисковой выдачи по датам
Парсинг поисковой выдачи по датам — это метод парсинга поисковой выдачи за определённый период. Данный метод даёт возможность обойти ограничение парсинга в 20-30 страниц или 400-600 результатов на ключ и получить гораздо больше данных по одному ключу. Ограничения в данном методе заключается в невозможности использовать некоторые дополнительные фильтры.
В функции парсинга поисковой выдачи доступны фильтры:
- По сущности (видео, канал, плейлист, трансляция)
- По порядку выдачи
- По стране
- По языку
Остальные фильтры учитываться не будут в функции парсинга «по датам».
В настройках задания следует указать: Парсинг поисковой выдачи по датам. Источник и поисковой запрос задаётся в настройках первого метода парсинга поисковой выдачи YouTube. В настройках второго метода парсинга задаётся только «Начальная дата», «Конечная дата» и «Шаг времени».
Как это работает?
Задаётся начальная дата парсинга, например: 01.01.2010, затем задаётся конечная дата парсинга, например: 28.03.2018 и указывается шаг времени в днях, по умолчанию — 1 день.
От одной начальной даты до конечной — 3008 дней. Шаблон будет возвращать результат выдачи по ключу за дни указанные в настройке «шаг времени», пока не дойдёт до конечной даты. Шаблон выполнит 3008 итераций запросов по одному ключу, что эквивалентно парсингу 60 160 страниц, вместо 20, которые выдаёт YouTube по одному ключу.
Сравнение:
С использованием 2 метода было спаршено 67 249 видео с удалением дублей по ключу makeup по датам приведённым в примерах
Когда с использованием 1 метода было спаршено 419 видео
В результате нет мусорных запросов, только видео с вхождением в название с заданным ключом.
Различие только в невозможности использования некоторых фильтров и времени парсинга. Второй метод парсинга поисковой выдачи YouTube занимает гораздо больше времени.
Поисковые операторы
Операторы для поисковых запросов. Операторы указываются в теле поискового запроса.
Операторы:
ИЛИ (поисковой запрос | поисковой запрос) — возвращает выдачу YouTube с присутствием в одном видео двух поисковых запросов
Пример: Обзор Mercedes benz g65 amg | Обзор bmw x6 — вернёт выдачу с видео, где в названии или описании присутствуют два этих запроса.
ИСКЛЮЧЕНИЕ (поисковой запрос -исключаемый поисковой запрос) — возвращает выдачу без упоминания в названии или описании исключаемого запроса
Пример: Обзор Mercedes benz g65 amg -Обзор bmw x6 — вернёт выдачу с видео, где в названии или описании присутствует запрос «Mercedes benz g65 amg», но не «Обзор bmw x6».
СОВМЕСТНОЕ ИСПОЛЬЗОВАНИЕ ДВУХ ОПЕРАТОРОВ
Вы можете использовать оператор ИЛИ и ИСКЛЮЧЕНИЕ в одном запросе.
Пример: Обзор Mercedes benz g65 amg | Обзор porsche cayenne 2017 -bmw x6 — вернёт выдачу с видео, где есть оба запроса, но исключит видео с присутствием запроса BMW
