Математики из Армении создали сервис, убирающий посторонние звуки во время звонков

С помощью нейросетей Krisp определяет раздражающие шумы (вроде плача ребёнка или шуршания бумаги) и в реальном времени вырезает их из аудиопотока. Материал о разработке и авторах идее опубликован по ссылке.

Krisp – это приложение для Mac, которое в режиме реального времени устраняет посторонние звуки во время звонков через Skype, Slack и другие VoIP-сервисы.

Пользователь может выбрать, какие шумы блокировать: входящие или исходящие. Первый способ подходит для ситуаций, когда собеседник (или собеседники) находится на оживлённой улице.

Второй – когда пользователь хочет скрыть своё окружение. Например, если звонок застал его в кофейне по пути на работу.

Приложение способно различать и подавлять такие звуки, как шум улицы, кафе или аэропорта, детский плач, шуршание бумаги, стук клавиш и многие другие.
Технология

Krisp — продукт американской компании с армянскими корнями 2Hz, которую в 2017 году основали два друга: Давид Багдасарян и Артавазд Минасян.

Шумоподавление сервиса работает благодаря технологии машинного обучения.
Команда проекта собрала два датасета: в первом было несколько десятков тысяч аудиозаписей с различными звуками-шумами (например, автомобильной сигнализации). Во втором — примеры чистой речи, записанной в студии.

Затем разработчики стали генерировать сэмплы — накладывать шумы на чистую речь и создавать множество вариантов комбинаций с разными звуками и уровнями громкости.

Например:

• Тихая речь с громким звуком пожарной сирены.

• Громкая речь с громким звуком пожарной сирены.

• Громкая речь с тихим звуком пожарной сирены.

• Тихая речь с тихим звуком пожарной сирены и так далее.

Далее они создали нейросеть и использовали получившиеся сэмплы для её обучения. Если грубо: давали образец речи с шумами, образец чистой речи без шумов и предлагали убрать лишнее.

И повторяли процедуру множество раз, пока нейросеть не научилась эффективно распознавать и убирать шумы.

Идея

Давид Багдасарян родился и вырос в Армении, а также получил степень магистра в области компьютерных наук в Ереванском государственном университете.

Со студенческих лет он работал в местных аутсорс-компаниях, которые создавали ИТ-продукты для зарубежных клиентов — в том числе из США.

Одним из таких заказчиков была компания Validity Sensors, которая выпускала сканеры отпечатков пальцев для ноутбуков и смартфонов. В 2008 году руководство предложило Багдасаряну переехать в США и возглавить департамент информационной безопасности.

Он проработал в Validity Sensors четыре года, а затем ушёл в стартап Nok Nok Labs, который открыл один из его бывших руководителей. Компания занималась решениями в сфере безопасности, и Багдасарян отвечал за разработку протокола FIDO (Fast IDentity Online), который потом стали использовать Google, Facebook, GitHub, Microsoft и другие компании.
Со временем он заскучал и решил сменить сферу. В 2016 году устроился в компанию Twilio, которая разрабатывает API для корпоративных коммуникаций.

С помощью ПО Twilio компании могут принимать и совершать звонки, а также отправлять и принимать SMS. Например, Uber использует Twilio для звонков между пассажирами и водителями.

«Мы постоянно ломали голову — как улучшить качество аудио. Чаще всего звук ухудшался именно из-за шума на заднем плане», — вспоминает Багдасарян.

Мне тогда казалось: «Окей, это классическая проблема, которую может решить машинное обучение».

Нужно научить нейросеть, что есть шум, а что — человеческий голос, и разделить их. Мне было любопытно — почему никто ещё не решил её.

У предпринимателя была и личная причина взяться за проблему. Какое-то время он работал удалённо, находясь в Армении. Из-за разницы во времени ему приходилось коммуницировать с командой по вечерам, и он не знал, где его застанет очередной звонок: в гостях с шумными детьми, в кафе или где-то ещё.

«И я подумал, что было бы круто иметь под рукой сервис, который скрывал бы окружение, чтобы другие участники беседы не могли понять, где ты находишься», — вспоминает Багдасарян.

В конце 2016 года Багдасарян рассказал об этой идее своему приятелю, доктору математических наук Артавазду Минасяну. К тому времени у него уже было несколько компаний в ИТ-сфере. Кроме того, он как раз искал интересные проекты в сфере машинного обучения.

Минасян начал изучать, как можно реализовать идею, и привлёк знакомого математика Степана Саргсяна (сейчас он главный научный сотрудник 2Hz).

Осенью 2017 года Багдасарян окончательно решил уволиться из Twilio и переехать всей семьёй в Армению. Через несколько недель после возвращения они вместе с Минасяном открыли 2Hz.

Продвижение и популярность

Компания представила Krisp в октябре 2018 года. В конце месяца Багдасарян опубликовал статью о продукте и технологии в блоге для разработчиков компании Nvidia.

По словам предпринимателя, материалом поделились более тысячи пользователей в социальных сетях, что стоило ему бессонной ночи: он до утра отвечал на сообщения с вопросами.

Ночью 16 ноября один из пользователей опубликовал ссылку на Krisp в сообществе Hacker News, а утром неизвестный анонсировал продукт на платформе Product Hunt.

Это не входило в планы 2Hz — у команды не было необходимых маркетинговых материалов, и Багдасарян попытался связаться с администрацией сервиса, чтобы она удалила упоминание Krisp.

Однако когда представитель администрации наконец-то вышел на связь, Krisp уже имел все шансы стать продуктом дня — и предприниматель решил оставить всё как есть.

Впоследствии Krisp занял первое место в номинации «Продукт дня», третье место в номинации «Продукт недели» и четвёртое в номинации «Продукт месяца», а также первое место в номинации «Продукт года» в категории «Звук и аудио».

Krisp стал лучшим маркетинговым средством для нашей технологии.

Не проходит и дня, чтобы какая-нибудь крупная компания не прислала нам письмо вроде:

«Привет! Сколько будет стоить интеграция вашей технологии в наш бизнес?».