Рассказываем, как мы придумали и воплотили технологию распознавания музыки в кадре и сколько треков вы сохранили в плейлисты в Яндекс Музыке за год.
В 2021 году на Кинопоиске появилась функция распознавания музыки в кадре Deep Dive. Чтобы узнать название композиции, которая играет в кино или сериале, пользователю достаточно нажать на паузу — на экране появится название трека, имя исполнителя, обложка сингла и предложение добавить трек в плейлист «Понравилось на Кинопоиске» в Яндекс Музыке. За все время подписчики Плюса воспользовались этой функцией более 10 миллионов раз и распознали около 150 тысяч разных треков, примерно 80 тысяч треков отправились в ваши плейлисты в Яндекс Музыке прямиком с Кинопоиска.
Мы решили рассказать, как и зачем сделали распознаватель музыки, и вместе с вами послушать треки, которые вы сохраняли чаще всего.
Зачем мы сделали Deep Dive
Мы смотрим кино сейчас совсем не так, как делали это 10 лет назад. Мы стали меньше ходить в кинотеатры, больше времени проводить дома перед телевизором или экраном компьютера, смотреть длинные сериалы за один день и оставаться с любимыми героями в других измерениях — читать про них в книгах и комиксах, слушать подкасты с актерами и продюсерами. Многие пользователи смотрят фильмы и сериалы на телефонах и планшетах в метро — совсем недавно это было невозможно из-за скорости интернета.
С развитием технологий меняются не только экраны и скорость передачи данных, меняется весь пользовательский опыт. Deep Dive — это часть нового опыта: мы добавили к фильмам и сериалам дополнительный слой информации, доступ к которой можно получить моментально.
Благодаря огромной базе знаний Кинопоиска, нашей энциклопедии, мы научились распознавать актеров в кадре. А затем мы решили соединить с Кинопоиском еще одну огромную базу — базу Яндекс Музыки — и распознавать треки, которые играют в фильмах и сериалах.
Музыка — такая же неотъемлемая часть кино, как и изображение. Иногда саундтрек западает в память, и раньше найти его было непросто — нужно было внимательно прочитать титры или включить специальное приложение, которое не всегда способно распознать музыку, играющую на фоне диалогов и шумов. Сейчас можно нажать на паузу в плеере Кинопоиска и не только узнать название песни или мелодии, но и добавить ее в свой плейлист в Яндекс Музыке — через секунду после того как кино закончится, вы можете слушать саундтрек на любом устройстве.
Алексей Царёв
Аналитик
«Мы начали делать распознавание музыки в кадре в сентябре 2021 года. О такой функции просили пользователи, и сами мы тоже думали об этом. В подписку Плюса входят Кинопоиск и Яндекс Музыка, логично и правильно было связать эти два сервиса.
Чтобы моментально сообщить зрителю, какая композиция звучит в фильме в данный момент, нужно сделать несколько действий: разметить аудиодорожку фильма и выбрать все фрагменты, когда играет музыка. Затем эти фрагменты нужно сопоставить с базой Яндекс Музыки и найти подходящие треки, проверить, нет ли ошибки в выборе трека, и выдать зрителю информацию о музыкальной композиции вместе с именем исполнителя и обложкой. Чтобы делать все это автоматически, мы написали большую программу, которая и собирает максимум доступной информации о фильме и музыке в нем, потом находит музыкальные фрагменты, распознаёт музыку и перепроверяет себя.
Автоматика не всегда справляется с задачей. Иногда саундтрек играет на фоне разговора или шумной сцены, в первое время программа часто не распознавала музыку за посторонними звуками. Иногда алгоритм считал музыкой звонок мобильного телефона у героя или пение птиц. Нам потребовалась помощь людей, асессоров Яндекса. Когда алгоритм не уверен в том, правильно ли он распознал трек, он присылает человеку запрос на проверку — кусочек аудиодорожки фильма и трек в Яндекс Музыке, который на него похож. А человек отмечает, узнала ли программа мелодию. В начале помощь тестировщика требовалась довольно часто, но алгоритм быстро учится, поэтому теперь только пятая часть фрагментов проходит дополнительную проверку.
Функция распознавания музыки в кадре стала доступна подписчикам 24 декабря 2021 года, и перед стартом мы разметили большую часть каталога Кинопоиска — в 75% фильмов и сериалов музыка распознавалась.
Deep Dive не распознаёт музыку в реальном времени — все данные о саундтреке распознаны и синхронизированы с аудиодорожкой заранее. Когда к нам поступает новая картина или сериал, мы прогоняем их через алгоритм Deep Dive, прежде чем выложить в онлайн-кинотеатре».
Подробнее о том, как мы делали Deep Dive со всеми тонкостями и нюансами работы разработчиков можно почитать в блоге Яндекса на Хабре.
Какие треки подписчики сохраняли чаще всего
Сохранили в плейлисты в Яндекс Музыке 23 322 раза.
Песня «Кусок жизни» впервые опубликована в 1981 году в альбоме «Электричество». В студийной версии из альбома «Табу» (1982 год) в конце песни звучит хор из всех участников группы «Аквариум». Под эту песню Игорь Гром занимается самым важным в работе сыщика делом — гуглит и роется в книгах, чтобы напасть на след. Это примерно 38-я минута фильма — вместе с песней «Аквариума» заканчивается завязка и начинается развитие действия.
Пять песен про любовь
В топ-20 самых сохраняемых с помощью Deep Dive песен вошло пять композиций из саундтрека к мелодраме «Постучись в мою дверь». В общей сложности их сохранили более 100 тысяч раз. Турецкий сериал насыщен музыкой, в основном лирическими фортепианными композициями, всего в саундтреке «Постучись в мою дверь» более 35 песен и мелодий. Подписчики Кинопоиска чаще всего сохраняли в плейлисты песни, звучащие по-европейски, на английском языке, сделанные музыкантами и диджеями не из Турции. Один из треков, «Mech Burye (Serkan Bolat)», создан российскими артистами Ya Rick и KDDK.
Эту песню из альбома «Moxie Bravo» 2007 года подписчики Плюса сохранили в плейлисты в Яндекс Музыке более 6,5 тысячи раз.
Песню 2017 года добавили в плейлисты более 6,5 тысячи раз. Роулингс спел ее вместе с фолк-певицей Джиллиан Уэлш. Песня была номинирована на «Грэмми», а в фильме «Джентльмены» играет в тот момент, когда на экране показываются вступительные титры. Микки Пирсон уже поговорил со своей женой и кое-что решил.
Самая сохраняемая песня из детских фильмов и мультиков — заглавная тема «Трех котов». Ее добавили в плейлисты более 5 тысяч раз. «Три кота» — мультсериал, начавшийся в 2015 году на канале СТС. С 2018 года за приключениями героев из Котополиса следят дети из 170 стран мира.
Две композиции из сериала «Триггер» вошли в топ-20 самых сохраняемых треков, пользователи Плюса добавили их в свои плейлисты около 10 тысяч раз. Обе песни исполняет группа Multiverse, основанная в 2014 году Никитой Пресняковым. Пресняков с группой написал заглавную тему сериала и работает над саундтреком полнометражного фильма.
Артем Федотов, известный как артист Sollar, в 2016 году получил первое место в русскоязычном iTunes и 50 тысяч шазамов с этой песней из саундтрека к «Мажору 2». Как видно, ее до сих пор распознают и добавляют в плейлисты многие зрители сериала.
Заглавная тема мультсериала, который обожают и дети, и взрослые. История про брата и сестру Пайнс на летних каникулах в таинственном городке Гравити Фолз закончилась еще в 2016 году, но остается в числе любимых и пересматриваемых. В июле, согласно данным Индекса Кинопоиск Pro, мультсериал «Гравити Фолз» оказался в топ-10 самых популярных сериалов месяца.
Главная песня в мультсериале, созданном по мотивам повести Эдуарда Успенского «Гарантийные человечки» 13 лет назад. Сейчас выходит пятый сезон «Фиксиков», количество эпизодов перевалило за 230. Песни фиксиков называются «фиксипелки», и самую главную из них, с ответом на вопрос, кто такие фиксики, зрители Кинопоиска сохранили в плейлисты в Яндекс Музыке более 4 тысяч раз.
Заглавная тема фильма, под нее на экране появляются начальные титры, а затем и персонаж Райана Гослинга, который едет за рулем навстречу приключениям. Французский исполнитель Кавински сделал этот трек вместе с Ги-Мануэлем де Омем-Кристо из Daft Punk и выпустил синглом в 2010 году. Фильм «Драйв», в котором он прозвучал, вышел годом позже. Трек сохранили почти 4 тысячи раз.
Инди-певица Тося Чайкина, известная как автор нескольких песен Димы Билана, создала саундтрек к первым «Беспринципным» в 2020 году. Поэтичные треки оттенили и дополнили комедию о жителях Патриарших прудов. Заглавную тему из сериала сохранили почти 3,5 тысячи раз.