История изменений YouTube-Parser

28 января 2024

Обновление YouTube-Parser v5.0.5

  • В парсинг поисковой выдачи через YouTube API была возращена возможность эмулировать страну и язык выдачи (эмуляция задаётся на вкладке дополнительных настроек и применяется как для YouTube API так и для InnerTube API) * эмуляция страны изменяет результаты выдачи не более, чем на 10%.
  • Улучшен парсинг последних видео на канале через YouTube API (ранее при парсинге любого количества последних видео с канала собирались все видео с канала, что кратно увеличивало время парсинга. Сейчас оба метода собирают все или указанное количество видео с канала)
  • Изменены параметры для автоматического прохождения таблички «соглашения на использование данных». (на свежих IP или случайное появление этой таблицы вызывало ошибку парсинга)
  • Исправлен баг из-за которого шаблон не прекращал работу, хотя должен. Это происходило при проверке списка прокси, в котором не было ни одного рабочего прокси

09 января 2024

Обновление YouTube-Parser v5.0.4

  • Добавлена возможность выбирать тип создаваемой таблицы-отчёта при скачивании видео или канала

Возможные варианты:

  • Нет – не создавать таблицу
  • Отчёт – создаётся таблица с основными данными видео: «Путь к видео», «Название», «Путь к обложке», «Описание», «Теги», «Длина видео», «URL видео».
  • Планировщик – создаётся таблица в формате «Планировщика» для подключения к YouTube-Uploader с данными: «Статус», «Видео», «Название», «Обложка», «Описание», «Теги», «Конечная заставка», «Подсказка», «Комментарий», «Дата отложенной публикации».

116711

Таблица полностью повторяет поля и их очерёдность планировщика, что даёт возможность не внося правок использовать её в YouTube-Uploader v5.0.

  • Настройка была перенесена со вкладки «Скачивание YouTube» на вкладку «Дополнительные настройки».

12 августа 2023

Обновление YouTube-Parser v5.0.3

  • Исправлено скачивание прошедших стримов длиной от 2 часов
  • Исправлена ошибка: «Write Results. Document size exceed 16683050 limit» при сохранении данных комментариев с видео, если комментариев на одном видео более 10 000 шт.

Для работы шаблона требуется обязательно обновить DLL-библиотеки из облака

21 июня 2023

Обновление YouTube-Parser v5.0.2

  • Добавлен сбор видео со вкладки «Трансляции» через метод InnerTube API (при парсинге всех видео с канала методом InnerTube API будет собраны также трансляции)
  • В функции «Скачивание видео» и «Скачивание канала» добавлен новый тип видео «Трансляции» (сейчас можно выбрать какие видео скачивать с канала: «Все», «Видео», «Трансляции» или «Shorts»)

108737

  • Возвращена разбивка ссылок канала на категории по социальной сети при парсинге ссылок канала из раздела «О канале»
  • В дополнительных настройках добавлена опция «Выполнять задержку между запросами«. Опция включает задержку в 1 секунду, которая позволяет обойти появление рекаптчи из-за частых запросов с одного IP. Опция работает только с функциями использующие метод парсинга InnerTube API. Также включать задержку имеет смысл только если не используются прокси.
108738

Для работы шаблона обязательно требуется обновить сам шаблон и DLL-библиотеки из архива ExternalAssemblies, которые можно скачать из облака.

21 мая 2023

Обновление YouTube-Parser v5.0.1

  • В парсинг трендов добавлены категории: «Новости«, «Музыка«, «Видеоигры«, «Фильмы» (по всем категориям доступен парсинг по странам)

[Посмотреть примеры результатов]

107204

107206

  • Исправлен парсинг поисковой выдачи через InnerTube API по поисковым запросам с кириллицей

Для работы шаблона обязательно требуется обновить файлы из архива YouTube-Parser.zip и DLL-библиотеки из архива ExternalAssemblies.zip, которые можно скачать из облака. Также обязательно сделайте резервные копии файлов, в которых у вас хранятся API или результаты парсинга, иначе данные будут заменены файлами из архива!

01 февраля 2023

Релиз YouTube-Parser v5.0

1. Разделение парсера на методы: YouTube API и InnerTube API:

YouTube API — парсер будет использовать официальный YouTube API. Для этого метода нужны API ключи.
Преимущество в скорости и стабильности парсинга.
InnerTube API — парсер будет использовать внутренний (приватный) API, который использует сам YouTube для взаимодействия с пользователем и отображения контента. Для этого метода иногда требуется использовать прокси, если данных для парсинга много.
Преимущество в возможности получать данные о монетизации канала и видео. Значительно медленнее, чем YouTube API.

Такие задания как: «Парсинг поисковой выдачи», Парсинг метаданных канала», «Парсинг метаданных видео» может выполняться двумя методами. Чтобы изменить метод парсинга необходимо на первой вкладке входных настроек изменить значение на желаемое. В заголовке настроек задания указано какой метод может быть использован.
Некоторые задания используют только YouTube API или только InnerTube API. Если задание использует только InnerTube API или только YouTube API, то специально изменять метод под задание не нужно.

InnerTube API — это тот же «без API» как в 4 версии парсера, просто называется по другому. Он по прежнему является альтернативным методом. Рекомендуется использовать именно YouTube API из-за высокой скорости и стабильности.

2. Изменена логика входных настроек и упрощена настройка заданий парсинга:
Тип собираемых данных и параметры задания разбиты на отдельные понятные вкладки, где задаются параметры каждого типа собираемых данных: «Поисковая выдача», «Каналы», «Видео», «Плейлисты», «Посты», «Скачивание из YouTube». Параметры задания унифицированы для двух методов парсинга. Можно менять метод парсинга не меняя параметры задания.

3. Упрощён выбор и заполнение входных данных для парсинга:
Добавлены предустановленные текстовые файлы: «search_keywords», «channel_urls», «video_urls», «playlist_urls», «posts_ulrs», «thumbnails_urls», в которые добавляются все ключевые слова и ссылки для парсинга. Теперь нет необходимости менять источник и указывать путь к файлу для каждого задания. Все источники входных данных представлены 6 файлами, которые покрывают все задания.

Обновлённые источники поисковых запросов и ссылок

4. Добавлена автоматическая установка файлов проекта из архива. Ранее пользователи часто сталкивались с проблемой: «куда разархивировать файлы?».
Сейчас достаточно указать лицензионный ключ, установить DLL-библиотеки и разместить архив рядом с файлом шаблона. Шаблон сам корректно разархивирует файлы и подготовит шаблон к работе.

[Важно!] Если случайно будет удалён какой-либо файл из файлов проекта, то шаблон может переустановить файлы из архива, что приведёт к утрате данных. После установки удалите архив с файлами проекта. Устанавливать файлы проекта можно также как раньше разархивировав архив в папку YouTube-Parser.

5. База данных и скорость сохранения результатов:
* Ускорен парсинг в многопоточном режиме за счёт оптимизации записи данных в базу и отключении журнала.
* Исправлено долгое сохранение результирующих таблиц. Ранее таблицы от 100 000 строк могли сохраняться невероятно долго. Сейчас таблица на 500 000 строк сохраняется не больше 3 минут.
* Максимальное количество строк в одной таблице увеличено с 400 000 до 500 000 шт. При сохранении результатов на каждые 500 000 строк будет создаваться новая Excel-таблица.

Быстрое сохранение результатов

6. Реализована горячая замена прокси:
При парсинге большого объёма данных методом InnerTube API может появится каптча. При включении опции использования прокси, шаблон будет заменять прокси из файла в момент работы.
Ранее замены не происходило, шаблон останавливался и затем стартовал новый поток, который брал новый прокси.

7. Скачивание из YouTube:
* Улучшено скачивание видео и исправлено множество проблем связанных со скачиванием.
* Добавлена возможность многопоточного скачивания видео.
* Увеличена скорость скачивания благодаря подмене параметров передаваемых в YouTube из-за которых ограничивается скорость загрузки.
* Добавлена возможность скачивать видео через «Socks» прокси.
* Если при скачивании видео произошла ошибка, то шаблон выполнит повторные попытки скачать видео.
* В уведомление о скачивании видео добавлен текст о качестве, продолжительности и размере конечного файла.
* Добавлен новый источник скачивания видео — «Плейлист». Позволяет скачать все видео из плейлиста.
* При склеивание видео с аудио при скачивании теперь происходит без рендера за 0.5 — 2 секунды. Исключение видео продолжительностью больше 1 часа.
* При скачивании видео с канала можно выбрать какой тип видео скачивать: «Любые», «Видео», «Shorts». То есть сейчас можно выкачать с канала только вкладку «Shorts» или «Videos».
* Функция «Копирование канала» изменена на «Скачивание канала».
* Скачивать обложки к видео можно как по ссылкам на сами обложки, так и по ссылкам на видео.
* В дополнительные настройки скачивания видео добавлена опция исключаяющая из названий скачанных видео и обложек информацию об «ID-видео».
* Множество других исправлений связанных со стабильностью скачивания.

Многопоточное скачивание видео

8. Добавлена поддержка всех типов URL-ссылок на каналы:
ID: https://www.youtube.com/channel/UCkRfArvrzheW2E7b6SVT7vQ
UserName: https://www.youtube.com/user/youtubecreators
CustomName: https://www.youtube.com/c/youtubecreators
HandleName: https://www.youtube.com/@youtubecreators
Handle-ссылки можно указывать также в формате только юзернейма: @youtubecreators

[Важно!] При парсинге методом YouTube API и указании ссылок c username будет происходить дополнительная конвертация username-канала в ID-канала. Это может увеличивать время парсинга.

9. Добавлена поддержка всех типов URL-ссылок на видео:
ID: https://www.youtube.com /watch?v=ID
Share: https://youtu.be /ID
Embed: https://www.youtube.com /embed/ID
Shorts: https://www.youtube.com /shorts/ID
Ссылки на шортсы можно также указывать в формате: https://www.youtube.com /watch?v=ID

10. Данные каналов и видео:
* В парсинг матаданных канала добавлена колонка с @_username канала.
* При парсинге видео с канала методом «InnerTube API» теперь также собирается вкладка с Shorts видео. Shorts видео в таблице с результатами всегда будет идти после основных видео.
* Добавлены новые колонки с данными в результирующие таблицы.

11. Монетизация:
* Добавлен парсинг монетизации канала при парсинге методом InnerTube API.
* Парсинг монетизации видео теперь неплатная функция. Данные о монетизации видео записываются в отдельную колонку при парсинге метаданных видео методом InnerTube API.

Сбор монетизации видео

Сбор монетизации канала

12. Фильтрация данных:
Изменена логика предварительной фильтрации видео, каналов, комментариев. Теперь значения для фильтрации указываются не в диапазоне, а только «от» или «до». Если вам необходимо использовать диапазон данных и больше свободы в фильтрах, то фильтруйте уже в готовых таблицах Excel. Скорость парсинга при включении или отключении фильтрации не изменяется, так как данные в любом случае запрашиваются из YouTube.
* В парсинг метаданных каналов добавлены критерии фильтрации по году и стране.
* В парсиннг метаданных видео добавлены критерии фильтрации по количеству лайков и дате публикации. С этим добавилась возможность собирать последние видео канала комбинируя их с критериями по количеству лайков или дате публикации.
* В парсинг метаданных комментариев видео добавлены критерии фильтрации по тексту комментария, количество лайков и дате публикации.
* В парсинг метаданных комментариев постов канала добавлены критерии фильтрации по тексту комментария и количеству лайков.

Фильтрация

[Важно!] При фильтрации по стране канала: если автор канал не указал, то канал будет пропущен как несоответствующий условию.

13. Удалены редко используемые функции:
1. Парсинг поисковой выдачи по датам
2. Парсинг количества видео в поисковой выдаче по поисковому запросу
3. Анализ позиций видео
4. Парсинг похожих видео
5. Парсинг подписчиков
6. Удалена возможность парсить описание видео (почта, ссылка, телефон)
7. Удалены часть фильтров при парсинге поисковой выдачи методом YouTube API.
Если считаете, что какая-то функция всё-таки нужна и приносила пользу, пишите в ЛС.

14. В заключении: YouTube-Parser v5.0 — это полностью переработанный шаблон. Было изменено до 90% кода.
Шаблон максимально адаптирован под все текущие изменения YouTube, а также переписан с целью повысить стабильность и упростить добавление новых функций.

27 ноября 2021

Обновление YouTube-Parser v4.1.0

Работает из функции парсинга поисковой выдачи без API. Чтобы включить парсинг видео по хештегам необходимо отметить опцию «Парсить видео по хештегам»

85993

 

  • Множество других изменений касательно оптимизации сбора данных

Для работы шаблона требуется обновить все DLL-библиотеки!

20 ноября 2021

Обновление YouTube-Parser v4.0.6

  • Оптимизирована работа с базой данных (увеличена скорость сохранения результатов)
  • Исправлен баг, которая мог приводить к сохранению результатов с одной строкой в функции «Парсинг поисковой выдачи без API»
  • Адаптирован парсинг описания под изменения YouTube в функции «Парсинг поисковой выдачи без API»

Для работы шаблона требуется обновить все DLL-библиотеки!

28 октября 2021

Обновление YouTube-Parser v4.0.5

  • Добавлена парсинг постов со вкладки «Сообщество» на канале
  • Добавлен парсинг комментариев с постов на вкладке «Сообщество» на канале

84757

84756

Для работы шаблона требуется обновить все DLL-библиотеки!

18 мая 2021

Обновление YouTube-Parser v4.0.4

  • Добавлено удаление дубликатов видео находящихся в плейлистах (в функции «Парсинг данных видео в плейлистах«, теперь удаляются дубликаты видео, если в нескольких плейлистах видео пересекаются)
  • Добавлена опция «Не удалять дубликаты видео» (опция позволяет глобально отключить удаление дубликатов сущностей во всех парсингах)
  • Исправлена ошибка «Rebuild database» появляющаяся после сохранения результатов

23 апреля 2021

Обновление YouTube-Parser v4.0.3

  • Ускорен парсинг данных при многопоточной работе шаблона за счёт оптимизации работы с базой данной (сейчас каждый поток подключается к базе через shared-соединение. Каждый поток может одновременно с другими записать данные в базу и база не лочится на время записи)
  • Исправлен парсинг данных подписок (сейчас при парсинге создаётся файл с базой данных и результаты не теряются при неудачном завершении шаблона, как могло быть раньше)

6 апреля 2021

Обновление YouTube-Parser v4.0.2

  • Функция парсинга данных плейлистов переработана под работу с базой данных
  • Функция парсинга данных видео в плейлистах переработана под работу с базой данных
  • Улучшено сохранение результатов после завершения проекта
  • Добавлены параметры по умолчанию для парсинга поисковой выдачи без API

2 марта 2021

Обновление YouTube-Parser v4.0.1

  • Восстановлена функция сбора видео канала без API после недавних изменений YouTube
  • Восстановлена функция сбора количество видео в выдаче по запросу после недавних изменений YouTube
  • Повышена скорость и стабильность работы функции сбора поисковой выдачи без API по фильтрам (сейчас используется новый неофициальный API YouTube)
  • Удалена функция «Парсинг поисковой выдачи без API», так как YouTube закрыл возможность парсить через старый неофициальный API YouTube

Требуется перекачать все библиотеки, иначе работать шаблон не будет.

5 января 2021

Релиз YouTube-Parser v4.0

Глобальные изменения:

  • Добавлена поддержка базы данных на основе LiteDB

Какие преимущества:
1. При многопоточном парсинге все данные сохраняются в одну таблицу, а не как раньше, когда у каждого потока была своя таблица и после было сложно собирать данные в одну таблицу.
2. Возможность прервать парсинг в любом месте и при этом результаты будут сохранены. При последующем запуске шаблон восстановит данные из предыдущего запуска и сохранит в таблицу.
3. Повышена скорость многопоточного парсинга. Например: 100 поисковых запросов (около 50 000 видео) в 10 потоков собираются менее, чем за минуту.

  • Добавлен новый вид парсинга с возможностью точной эмуляции страны: Парсинг поисковой выдачи видео по фильтрам
70224

 

Сейчас в YouTube-Parser есть три вида сбора поисковой выдачи:
1. На API YouTube
2. На приватном API YouTube
3. Поисковая выдача на HTTP-запросах (новый тип)

Сбор выдачи на API YouTube лидирует по скорости и количеству собираемых данных.
Отличие парсинга поисковой выдачи на HTTP-запросах от сбора на официальном и приватном API в том, что он позволяет достаточно точно эмулировать страну выдачи, как будто вы бы находились в указанной в параметрах стране. Также у этого типа парсинга есть возможность фильтрации.

70225

 

  • Колоссальное количество изменений и доработок улучшающие работу шаблона.

Другие изменения и нововведения:

  • Добавлена опция «Перемешать список API» для того чтобы шаблон брал разный ключ при многопоточном парсинге
  • В функцию парсинга комментариев добавлена возможность поиска комментариев по регулярному выражению (сейчас можно сохранять только те комментарии, в которых есть определённый текст, ссылки или другие данные)
  • В функцию парсинга данных видео с API добавлены новые данные: «Предназначено ли видео для детей» и «Наличие субтитров«.
  • Восстановлено скачивание видео после всех недавних изменений YouTube
  • В скачивание видео добавлена возможность указать свою папку для скачивания видео (ранее видео и обложки скачивались в папку проекта)
  • В результирующую таблицу с данными видео в функции «Скачивание видео» добавлена ячейка с длиной видео
  • Копирование каналов теперь доступно для всех клиентов (покупать YouTube-Uploader для доступа к этой функции не нужно)
  • Добавлены новые обработчики ошибок API
  • Исправления во входных настройках
  • Изменена логика скачивания обложек и субтитров повышающая стабильность скачивания
  • Исправлен баг, когда при парсинге почт, номеров, ссылок из текста описания ячейки оставались пустыми из-за того что у канала или видео не было описания
  • Изменения в файлах проекта
  • Множество других изменений

Цена повышена до: 89$. Также для всех клиентов, включая старых введена абонплата.

Требуется перекачать заново все файлы проекта и библиотеки, иначе работать шаблон не будет.
Ссылка будет выдана в Телеграм группе.

16 ноября 2020

Обновление YouTube-Parser v3.6.4

  • Восстановлено скачивание некоторых видео после недавних изменений YouTube
  • Добавлены оповещения в лог со статусом видео или канала, если они недоступны при парсинге без API

Для работы шаблона требуется перекачать *.dll библиотеки из папки ExternalAssemblies в облаке!

Начиная с этой версии минимальная версия ZennoPoster 7.2.1.0

8 октября 2020

Обновление YouTube-Parser v3.6.3

  • Парсинг данных каналов по ссылкам с username: www.youtube.com/user/*** через API ускорен в 7 раз (раньше, если был указан username вместо ID в ссылке, то производилась конвертация username в ID, что занимало время, сейчас username не конвертируются в ID. Полезно, если у вас миксы ссылок с ID и username, например из других парсеров)

Для работы шаблона требуется перекачать .DLL-библиотеки.

31 августа 2020

Обновление YouTube-Parser v3.6.2

  • Шаблон адаптирован под скачивание некоторых видео, которые после недавних изменений в YouTube перестали скачиваться
  • Убрана опция «эмуляции задержек обращений к API» (она уже не нужна)
  • Исправление записи данных в функции «Парсинг данных видео без API»
  • Обновлены DLL библиотеки идущие в комплекте с шаблоном

Для работы шаблона требуется перекачать все DLLs, иначе шаблон не запустится.

15 июня 2020

Обновление YouTube-Parser v3.6.1

  • Добавлена возможность сохранять результаты только у которых есть данные в описании (почта, номер, ссылка), а также не сохранять результаты, которые ранее уже собирались (чёрный список).

Возможность полезна при парсинге почт из описания каналов или видео и позволяет собирать только уникальные данные.
Опция включается в разделе дополнительных настроек.

  • Теперь шаблон при сохранении результатов удаляет дубли (в результирующих таблицах не будет дублей видео или каналов)
  • Улучшения при сохранении результатов в Excel
  • Удалены некоторые настройки из шаблона

Начиная с этой версии ZennoPoster должен быть не ниже 7.1.3.0
Для корректной работы шаблона требуется перекачать файлы проекта.

2 мая 2020

Обновление YouTube-Parser v3.6 [r2]

  • Добавлена возможность парсить наличие монетизации у чужих видео

Парсить монетизацию видео возможно только через парсинг данных видео без API. Аналог TubeSift только с большими возможностями по парсингу. Функция платная, но в течение месяца доступна для всех кто приобретал шаблон.

  • При копировании канала теперь можно указывать качество скачиваемого видео (360p, 480p, 720p, 1080p)
  • Категории видео при парсинге данных без API переведены на русский язык
  • При скачивании видео с названиями не на кириллице и не на латинице видео сохраняются с их оригинальными названиями
  • Изменены заголовки для резльутирующих таблиц на более понятные
  • Улучшена стабильность скачивания видео
  • Исправлен парсинг почт, ссылок, номеров из описания видео, если описания были пустыми
  • Удалена опция парсинга статистических данных у видео при парсинге поисковой выдачи (лайки, дизлайки, просмотры)

26 марта 2020

Обновление YouTube-Parser v3.6

  • Функция «Скачивания видео» адаптирована под изменения в YouTube (видео и раньше скачивались без проблем, но некоторые видео скачать не удавалось, эти изменения теперь позволяют скачивать ранее недоступные видео)
  • Добавлена возможность скачивать видео в 360p, 480p, 720p, 1080p (раньше была возможность только в максимально качестве или 720p)
  • Добавлена возможность подключать cookies при парсинге данных без API, а также скачивании видео и копировании канала

Подключение cookies это ещё одна возможность на ровне с прокси обойти лимит запросов к YouTube при парсинге большого количества данных или видео без API. Это значит, что теперь с одного IP можно собирать или скачивать большое количество данных просто подключая файл с cookies, а не меняя IP.
Cookies поддерживаются только в формате .json из шаблонов YouTube-DorGen. Для этого требуется поместить файл кук в папку проекта и шаблон подхватит эти куки.

  • В функциях скачивания видео теперь учитывается User-Agent установленный в настройках
  • При парсинге данных канала без API теперь можно указать какое количество последних видео собирать с канала (раньше была возможность парсить все или только последнее загруженное видео)
  • При скачивании обложек видео, файл с обложкой не создаётся, если у видео нет обложки (сейчас скачиваются только загруженные автором обложки)
  • Исправлена ошибка сохранения таблицы из функции «Парсинг количества видео в выдаче»
  • Другие исправления касающиеся парсинга с API

Для работы шаблона требуется скачивать обновлённую библиотеку YouTubeExtensions.dll из папки ExternalAssamblies v3.6 в облкаке
ZennoBox какое-то время будет на версии YouTube-Parser 3.5.8

26 марта 2020

Обновление YouTube-Parser 3.5.7

  • Добавлен парсинг трендов с эмуляцией стран (теперь есть возможность спарсить данные видео из трендов, получить все метаданные по ним и их позицию на странице трендов. 1 минута — 1 страна)
52608
Пример результатов: Посмотреть
52609

 

  • Убрана ячейка количество комментариев при парсинге данных видео без API (получить количество просмотров через данный парсинг временно нельзя и комментарии всегда записывались со значением «0»)

23 марта 2020

Обновление YouTube-Parser 3.5.6

  • Добавлена возможность извлекать «почты«, «ссылки«, «мобильные номера» из описания каналов и видео во всех парсингах, как с АПИ так и без (теперь нет необходимости производить повторный парсинг каналов для на получение почты из описания, почта может быть извлечена во время парсинга данных видео или каналов и записана в отдельную колонку)
  • Добавлена опция «Не удалять прокси из списка«
  • Убран парсинг почт из описания канала в категории «Парсинг Email», так как теперь функция добавлена в парсинг данных видео и каналов
  • Изменёна логика присутствия email на канале в связи с последними изменениями в YouTube
  • Другие исправления
52433
52434

12 марта 2020

Обновление YouTube-Parser 3.5.5

  • Переработаны функции парсинга без использования API.
  1. Парсинг поисковой выдачи
  2. Парсинг данных канала
  3. Парсинг данных видео
  • Теперь парсинги без API полноценно могут использовать прокси (http, socks4, socks5)
  • Парсинг контактов теперь не использует API
  • Парсинг почт теперь не использует API
  • Скачивание субтитров теперь не использует API
  • Скачивание видео теперь не использует API
  • Копирование каналов теперь не использует API
  • В парсинг данных каналов без API добавлена возможность предварительной фильтрации по подписчикам и просмотрам
  • В парсинг почт добавлена возможность парсить почту из описания канала
  • В результирующую таблицу данных видео и поисковой выдачи из парсингов без API добавена ячейка «категории видео»
  • В результирующую таблицу с почтами добавлена новая ячейка — «страна канала»
  • В результирующую таблицу с данными видео из парсинга данных видео без API добавлена ячейка — «количество комментариев»
  • При парсинге данных каналов без API собирается дополнительная информация о наличии почты на канале под Recaptcha (теперь можно сразу отфильтровать каналы с почтами и парсить по ним)
  • При скачивании субтитров теперь есть опция выбора какие субтитры скачивать: «Авторские», «Сгенерированные» или «Доступные»
  • Переработана функция скачивания видео (при скачивании аудиопотока теперь скачивается максимальное качество аудио и другие изменения)
  • Скачивание видео возможно запускать многопоточно по списку ссылок на видео
  • Оптимизирован забор нового ключа API при израсходовании квоты (раньше шаблон перебирал каждый раз список перед взятием нового ключа, на что затрачивалось время)
  • Во все парсинги без API добавлены «ограничивающие» параметры для потоков, чтобы была возможность каждому потоку назначить свой прокси и количество данных для сбора (раньше поток пытался собирать сразу все данные, из-за чего была большая вероятность попасть на каптчу или ошибку 429 Two many requests)
  • Изменения в оповещениях
  • Изменения во входных настройках шаблона (часть настроек была перенесена на отдельную вкладку)
  • Изменены файлы проекта (конфигурационные файлы были перемещены в отдельную папку)
  • Обновлены библиотеки и добавлена новая
  • Удалены зависимости от некоторых сторонних библиотек
  • Множество других изменений

Для корректной работы проета требуется перекачать файлы проекта и и DLL библиотеки полностью заново.

 

51874
51875
51876

24 января 2020

Обновление YouTube-Parser 3.5.3

  • Добавлена возможность парсинга поисковой выдачи по темам, которые YouTube назначил видео, плейлистам, каналам
  • Переведены темы на русский язык при парсинге данных каналов
  • Добавлена возможность копировать каналы из файла со списком ссылок на каналы (теперь можно копировать сразу несколько каналов, а не по одному)
  • Теперь при парсинге ответов к комментариям они будут сохраняться сверху-вниз по дате, как это и представлено в YouTube
  • Улучшено определение наличие почты в разделе канала «О канала» (некоторые пользователи встречались с ошибкой определения наличия почты на канале )
  • Исправлен парсинг видео по «категориям видео»
  • Парсинг трансляций теперь не отдельная сущность, а сущность отсносящаяся к видео (для видео добавлен фильтр по трансляциям)
  • Изменения в оповещениях при парсинге почт

2 января 2020

Обновление YouTube-Parser 3.5.2

  • Изменения в логике сбора данных
  • Изменения при сохранении таблицы с результатами
  • Изменения в парсинге метаданных канала при парсинге Email
  • Обновление библиотеки EPPlus
  • Обновление других библиотек

15 ноября 2019

Обновление YouTube-Parser 3.5.1

  • В парсинг данных канала добавлен сбор категорий канала
  • В парсинг данных канала добавлен сбор страны канала, указанной в настройках канала
  • Добавлена возможность разгадывания рекаптчи при парсинге Email через CapMonsterCloud
  • Исправления в создаваемых результирующих таблицах
  • Исправления и оптимизация сбора данных каналов и посковой выдачи
  • Мелкие исправления в уведомлениях

20 сентября 2019

Обновление YouTube-Parser 3.5

  • Исправлена логика замены API-ключей в потоке (исправлены возможные проблемы при парсинге)
  • Длина видео при парсинге «Данных видео» сохраняется в формате времени по которому можно сделать сортировку

21 августа 2019

Обновление YouTube-Parser 3.4
  • Добавлена возможность скачивать только аудио дорожку при скачивании видео
  • Исправлен парсинг количества видео в поисковой выдаче через файл

15 августа 2019

Обновление YouTube-Parser 3.3
  • Улучшен парсинг и скачивание субтитров (в последнее время можно было заметить, что субтитры парсились хаотично, либо сгенерированные или загруженные автором. Сейчас этот баг исправлен: приоритет стоит на «загруженных», если «загруженных» нет, парсятся «сгенерированные»)
  • Временно убрана возможность указать количество сущностей на ключ при парсинге поисковой выдачи через API (функция работала не совсем корректно, убрал временно для последующего улучшения)
  • Исправлен парсинг тегов при парсинге данных видео без API (теги парсились одинаковые для всех видео, теперь парсится корректно)
  • Исправлен парсинг данных видео по списку видео (раньше шаблон не видел указанного списка с видео)
  • Испрвлены возможные проблемы со скачиванием видео и копированием канала
  • Обновлены библиотеки
Для работы шаблона нужно перекачать все библиотеки.

21 июля 2019

Обновление YouTube-Parser 3.1

  • Исправлен баг в функции парсинга подписчиков из файла (шаблон не видел файл с каналами)

Обновление YouTube-Parser 3.2

  • Восстановлена функция скачивания видео и копирование каналов после недавних изменений YouTube
  • В проект добавлены новые DLL-библиотеки

Библиотеки обязательно требуют установки, без них шаблон работать не будет.

23 июня 2019

Обновление YouTube-Parser 3.0

  • YouTube-Parser полностью пересобран, каждая функция парсинга полностью переписана
  • Весь парсинг вынесен в общий код, благодаря чему проект оптимизирован на 200%
  • Полностью изменена логика парсинга (если раньше шаблон парсил по 1 странице и делал сохранение в отчёт, то теперь парсит сразу всё количество результатов и потом записывает в отчёт)
  • Все данные теперь собираются через отдельную библиотеку, что увеличило стабильность и скорость парсинга
  • Теперь шаблон умеет менять API из файла прямо во время парсинга (теперь не нужно перезапускать потоки, чтобы продолжить парсинг, шаблон сам заменит ключ из доступных и продолжит с того же места)
  • Добавлены обработчики для всех известных мне ответов от API при парсинге (теперь шаблон напишет, по какой причине не идёт парсинг)
  • Добавлена возможность парсить данные поисковой выдачи и данных видео без API (в связи с урезанием квоты, появилась возможность парсить без API вовсе)
  • Кардинально изменена логика сохранение результатов (теперь не используется множество таблиц для сохранения результатов, шаблон сам умеет создавать таблицы с данными после завершения парсинга)
  • YouTube-Parser теперь генерирует красивые отчёты с возможностью фильтрации
  • При парсинге комментариев сохранена иерархия «Комментариев» и «Ответов». В отчёте видно, на какой комментарий был дан ответ.
  • В парсинге без API можно указывать сколько страниц парсить по ключу
  • Во всех функция шаблон теперь умеет парсить, как по ID-канала, так и по Username
  • Изменения во «Входных Настройках»
  • Убраны не актуальные опции
  • Изменения в «Оповещениях»
  • Почищен проект от мусора
  • Шаблон полностью на C#
  • Множество мелких исправлений
  • Шаблон дополнительно обфусифицирован (зашифрован)

7 марта 2019

Обновление YouTube-Parser v2.1

В связи с введением новых ограничивающих лимитов для API-ключей созданных в 2019 году. В YouTube-Parser добавлен тестовый режим парсинга поисковой выдачи YouTube без API-ключей.

Особенности и отличия:

  • При парсинге также используется GET / POST — запросы (без браузера)
  • Не нужны API ключи для парсинга, соответственно и лимитов API-ключей нет.
  • Парсинг идёт дольше в два с половиной раза

По цифрам: 10 запросов через API парсятся — 1,5 минуты. Без API — 10 запросов — 4 минуты.

  • При парсинге выдачи YouTube без API сразу парсится и статистика видео (просмотры, лайки, дизлайки), что у API бы заняло в 10 раз дольше, если бы был отмечен чек-бокс парсить статистические данные.
  • Данные для сбора такие же, как и у API парсинга, кроме ссылки на канал автора видео.

upload_2019-3-7_20-33-17.png

В дальнейшем будут добавлены основные парсеры без API:

  • парсинг данных видео
  • парсинг данных каналов
  • парсинг данных плейлистов

5 марта 2019

Обновление YouTube-Parser v2.0.7

  • Добавлена функция парсинга данных плейлистов (не путать с парсингом видео в плейлистах)
  • Доработана функция парсинга видео в плейлистах (раньше парсило не больше 50 плейлистов с канала)
  • Улучшена логика парсинга (теперь проект не замедляется в ходе парсинга при больших объёмах данных)
  • Добавлена опция очистки таблиц перед парсингом
  • Повышен процент разгадывания каптч в 2 раза при парсинге Email
  • Добавлена обработка всех известных мне ответов от YouTube API ошибок и лимитов
  • Теперь шаблон перед стартом проверяет, корректно ли указан API и не израсходована ли квота.
  • Исправлена ошибка обработки файла с API

6 декабря 2018

Обновление YouTube-Parser v2.0.6

  • В парсинг видео добавлена опция парсинга последнего видео загруженного на канал
  • Исправлен баг с не корреткной записью пути и названия обложки в таблицу «Скачанные видео«
  • Исправлена функция скачивания «маскимального» качества видео в связи с последними изменениями в YouTube (до этого некоторые видео с такой опцией не скачивались)
  • Обновлена DLL-библиотека

Для работы шаблона необходимо перекачать все DLL-библиотеки.

18 ноября 2018

Обновление YouTube-Parser v2.0.5

  • Добавлена функция парсинга онлайн трансляций из поисковой выдачи

upload_2018-11-18_18-3-57.png

  • Добавлена функция парсинга видео из плейлистов

upload_2018-11-18_18-5-28.png

  • Мелки изменения в описании настроек
  • Удалены лишние файлы из папки с проектом

28 сентября 2018

Обновление YouTube-Parser v2.0.4

  • Добавлена возможность ограничить количество результатов на ключ при парсинге поисковой выдачи YouTube
  • Добавлена новая колонка «Название канала«в Excel-таблицу «Данные видео» в функцию парсинга данных видео YouTube
  • Добавлена возможность указать тип прокси (http, socks4, socks5)
  • Исправления в работе с прокси

20 сентября 2018

Обновление YouTube-Parser v2.0.3

  • В парсинг Email каналов добавлена опция принудительного сбора Email при неудачных попытках решить рекаптчу. (при не успешном решении рекаптчи, ссылка на канал отправляется в конец списка)
  • Названия скачанных видео или субтитров включают «id»-[id-видео] для удобного парсинга тайтлов видео.
  • Теперь если структура проекта не соблюдена, то об этом появится уведомление и шаблон не выполнится. По аналогии и с YouTube-Uploader

6 сентября 2018

Обновление YouTube-Parser v2.0.2

  • Исправлены возможные проблемы со скачиванием субтитров, если папка Temp не была удалена
  • Теперь в именах видео и субтитров нет случайных чисел, они заменены на ID-видео
  • Если файл с видео, обложкой или субтитрами уже существует, то об этом появится уведомление

31 августа 2018

Обновление YouTube-Parser v2.0.1

  • Исправлены ошибки связанные со скачиванием видео и обложек в версиях ZennoPoster выше 5.16.2 (теперь видео и обложки скачиваются независимо от версии)
  • Исправлен баг с невозможностью парсинга данных видео
  • Исправления в уведомлениях
  • Исправление входных настроек (критерии «парсинга данные каналов» затерялись в «парсинге данны видео». Сейчас перенёс обратно)

11 августа 2018

Обновление YouTube-Parser v2

Основные нововведения:

  • Добавлена функция парсинга поисковой выдачи с периодом времени
  • Добавлена функция парсинга поисковый подсказок YouTube
  • Добавлена функция анализа позиций видео в поисковой выдаче
  • Добавлена возможность скачивания видео в разрешении 1080p, 1440p или 2160p
  • Добавлена возможность указывать список API-ключей
  • Добавлена возможность использовать прокси

Все изменения и нововведения:

  • Добавлена функция парсинга поисковой выдачи с периодом времени (теперь можно собирать в 10 раз больше видео по одному ключу)
  • Добавлена функция парсинга поисковый подсказок YouTube
  • Добавлена функция анализа позиций видео в поисковой выдаче (собирает информацию о позиции видео и станице на которой видео находится в поисковой выдаче YouTube)
  • Добавлена возможность скачивания видео в разрешении 1080p, 1440p или 2160p
  • Добавлена возможность указывать список API-ключей (можно использовать несколько API-ключей)
  • Добавлена возможность использовать прокси (в 99% случаев не нужны, но на всякий)
  • Улучшен парсинг частотности ключей в YouTube
  • Улучшен парсинг субтитров (скачивает, как автосгенерированные субтитры, так и добавленные автором видео. 1 скачиваются, если нет 2)
  • Структура входных настроек изменилась, вкладок стало меньше, функции разделены на категории.
  • Изменение структуры проекта
  • Старая документация заменена на новую с поддержкой сайта
  • Теперь для решения вопросов существует раздел поддержки на сайте, где можно создать публичное обращение
  • Исправлен баг, когда не скачивалась обложка при работе функции скачивания видео
  • Исправления в уведомлениях

16 июня 2018

Обновление YouTube-Parser v1.6

  • Добавлена функция скачивания субтитров видео (скачиваются субтитры, как добавленные, так и сгенерированные автоматически)
  • Добавлена функция парсинга частотности ключа в YouTube (получает значение количества видео по ключевому запросу)
  • Функция парсинга Email-адресов теперь доступна всем
  • Исправлены ошибки при скачивании видео, копировании каналов, когда обложка к видео не сохранялась из-за не допустимых символов в пути
  • Во входных настройках добавлены комментарии к функциям, которые могут быть запущены во многопотоке
  • Исправления в уведомлениях

Цена шаблона поднялась до 2 999 руб.

upload_2018-6-16_15-34-51.png
upload_2018-6-16_15-35-32.png

Для работы шаблона необходимо:

  1. Обновить библиотеки External Assemblies
  2. Перекачать файлы проекта

29 марта 2018

Обновление YouTube-Parser v1.5

  • Добавлена возможность парсинга Email-адресов по списку каналов из раздела «О канале» (About)

YouTube - YouTube - Google Chrome.jpg 
Функция использует GET / POST-запросы и парсит Email-адрес решая Recaptcha. 
Поддерживается только сервис Rucaptcha. Ключ задаётся в настройках ZennoPoster или ZennoBox

Таблица с данными:
Данные Email-адресов - Excel.jpg

За новой ссылкой для скачивания обращайтесь по контактам.

12 фев 2018

Обновление YouTube-Parser v1.4.4

  • Добавлена возможность парсинга каналов по списку запросов через файл
  • В связи с нововведением редиректов в YouTube, функция парсинга контактов переработана и теперь парсит чистые ссылки на социальные сети без лишнего мусора
  • Исправлен парсинг контактов в соответствующие ячейки (Вконтакте, Facebook, Instagram, Telegram)

3 фев. 2018

Обновление YouTube-Parser v1.4.3

  • Добавлена возможность попутно скачивать обложки к видео и записывать путь к ним в таблицу при работе функции «Скачивания видео«
  • В таблицу с данными скачанных видео также записываются описание и теги
  • Теперь в функции «Парсинг данных видео» обложки будут сохраняться в максимально возможном разрешении

Можно перекачать файлы проекта, а можно и не перекачать :D
Изменилась только таблица с данными.

30 янв. 2018

Обновление YouTube-Parser v1.4.2

  • Добавлена функция скачивания обложек по списку ссылок на обложки. (ссылки на обложки можно получить через парсинг поисковой выдачи или парсинг данных видео)
  • Добавлена опция сохранения названия видео и пути к нему при скачивании видео (данные сохраняются в таблицу в папке «Скачанные видео»)
  • Исправлены грамматические ошибки в названиях папок

Для полноценной работы шаблона нужно полностью перекачать проект

10 янв. 2018

Обновление YouTube-Parser v1.4.1

  • Восстановлена работа функций «Скачивания видео» и «Копирования канала» после недавних изменений YouTube
  • В шаблон добавлено рекурсивное удаление папки «Temp». Ранее шаблон мог уйти в бесконечный цикл.
  • В файлы проекта добавлена новая библиотека.

Для работы обновления нужно перекачать проект

6 дек. 2017

Обновление YouTube-Parser v1.4

  • Добавлена функция парсинга контактов с каналов

Парсит ссылки на соц. сети и сайты указанные на канале. Данные записываются в отдельную таблицу.

E-MAIL (почты) — не парсит!

Для работы шаблона требуется перекачать полностью проект и добавить новую библиотеку в ExternalAssemblies

29 янв, 2018

Обновление YouTube-Parser v1.3.2 [HOTFIX]

  • Восстановлена работа функций «Скачивания видео» и «Копирование канала»

Для работы обновления нужно перекачать библиотеку

26 нояб, 2017

Обновление YouTube-Parser v1.3.1

  • Добавлен многопоток при скачивании видео из файла
  • Мелкие исправления при работе с папками проекта

Тестировал в 20, 50 и 100 потоков.
7 гб качается за 2-5 минут с 1 гбит/с

14 нояб, 2017

Обновление YouTube-Parser v1.3

  • Добавлена функция парсинга похожих видео по списку каналов и видео. Ранее парсинг похожих видео был возможен через «Парсинг поисковой выдачи».

upload_2017-11-14_7-50-29.png

29 сент. 2017

Обновление YouTube-Parser v1.2.1 [FIX]

  • Фикс парсинга данных канала по фильтрам

15 сент. 2017

Обновление YouTube-Parser v1.2.1

  • Добавлены фильтры при парсинге информации с каналов

Количество подписчиков [от] — Количество подписчиков [до]
Количество просмотров [от] — Количество просмотров [до]
Количество видео [от] — Количество видео [до]
Входные параметры.jpg

  • Фикс поискового запроса с оператором «» (кавычки) на некоторых ПК.

8 сент. 2017

Обновление YouTube-Parser v1.2

  • Добавлена функция парсинга подписчиков канала (экспериментальная функция — собирает от 5-20% подписчиков канала)
  • Добавлена функция создания собственной базы под сущность (будет создаваться отдельная Excel-таблица под определённый тип парсинга. Опция облегчает навигацию по базе).
  • Изменена логика работы с файлами и списками внутри проекта (чтение из файлов и списков теперь работает стабильно, проект не прерывается из-за ошибки чтения)
  • Фикс ошибки при неправильной настройке координат ГЕО при парсинге поисковой выдачи (ранее проект завершался ошибкой, сейчас выводит уведомление о не корректных настройках)
  • Исправления в оповещениях и добавление новых

Парсинг подписчиков.jpg

Для полноценной работы шаблона нужно перекачать полностью проект.

Цена возросла до 2 499 руб. в связи с завершением складчины

2 сент. 2017

Обновление YouTube-Parser v1.1

  • Добавлена возможность указать геолокацию загруженного видео при парсинге поисковой выдачи.

Если строки пустые, то поиск по ГЕО происходить не будет.
Обе строки должны быть заполнены при поиске по этому критерию. Строго соблюдайте формат строк (широта, долгота)
Для поиска координат можете использовать Google Maps или другие сервисы: http://www.mapcoordinates.net/ru

Используйте этот параметр на свой страх и риск. API не гарантирует выдачу релевантных совпадений по критерию. Да и ГЕО можно с эмулировать.

Обновление уже в папке и в проектах ZennoBox — YouTube-Parser v1.1

18 авг. 2017

Обновление [YouTube-Parser]

  • Появилась возможность брать поисковые запросы из файла.
  • Реализована функция сбора статистики видео при парсинге поисковой выдачи. Теперь собирает количество просмотров, лайков и дизлайков.

Это несколько замедляет парсинг, тем не менее теперь не надо обращаться к функции «Парсинга видео» для сбора статистики. Это опция может включаться по требованию.

  • Теперь строка с ID-канала также добавляется в таблицу при парсинге видео.
  • Без прописаного API-ключа шаблон работать не будет. Будет выводить оповещение.
  • Уточнения в «справке»
  • Исправления в инструкции