Ученые научили нейросеть определять звучание каждого пикселя на видео

Ученые обучили нейросеть вычислять звучание каждого отдельного фрагмента аудиоряда в составе видео на «уровне пикселей».

Проект реализуют ученые из Массачусетского технологического института, которые ни разу не анонсировали собственную разработку. Как стало известно, ученые смогли обучить нейросеть вычислять звучание каждого пикселя на видео. Искусственный интеллект сможет оделить звучание от картинки. Благодаря нейросети теперь возможно менять громкость звука, добавлять фильтры и совершать другие функции.

Проект был протестирован на видеороликах, общий хронометрах которых составлял 60 часов. Искусственный интеллект выяснил и поменял инструменты на «уровне пикселей». После этого нейросеть отделила звуки, которые предназначены партиям разных инструментов.

Изобретение сможет произвести прорыв в области науки. С помощью искусственного интеллекта качество звука может быть серьезно повышено. Нейросеть способна определять звуки свыше 20 распространенных инструментов.

Источник

ЧИТАТЬ ТАКЖЕ:  В Техасе женщина сфотографировала НЛО на фоне заката