Досуг Общество Легенды и Мифы Живой мир Игры МАГАЗИН ДЛЯ ВСЕХ Полезное
1Пн
2Вт
3Ср
4Чт
5Пт
6Сб
7Вс
8Пн
9Вт
10Ср
11Чт
12Пт
13Сб
14Вс
15Пн
16Вт
17Ср
18Чт
19Пт
20Сб
21Вс
22Пн
23Вт
24Ср
25Чт
26Пт
27Сб
28Вс
29Пн
30Вт
31Ср
августа 2022
• Личный кабинет
Логин: (регистрация?) Пароль: (напомнить?)
• РЕГИСТРАЦИЯ
Свежие статьи Самые свежие статьи Вестника К

А вы знаете, что новый цикл, называемый годом, пройдёт не под знаком БЫКА? 

Полицейский из Подмосковья работал на ЦРУ, воевал в Донбассе и сел на 13 лет за госизмену. Мы с ним поговорили...

Мы выяснили у сопредседателя движения «Голос» Григория Мельконьянца, смогут ли теперь арестованные кандидаты продолжать борьбу за участие в осенних выборах.

Одна из самых запоминающихся участниц московского протеста — 17-летняя Ольга Мисик. Мы с ней поговорили...

Московские суды арестовали 29 июля не менее 40 человек, задержанных на акции протеста 27 июля, сообщает «ОВД-Инфо». Полный перечень решений можно посмотреть...

• Реклама
О веселом Отдохни с Вестником

Собрали для вас примеры импортозамещения из России и дружественных республик. Глядя на них, хочется то ли плакать, то ли смеяться.

15 мая на аукционе Christieʼs в Нью-Йорке была продана скульптура «Кролик» американского художника Джеффа Кунса. Цена лота составила 91 075 000 долларов — это новый аукционный рекорд для работы ныне живущего художника.

Работа Клода Моне из серии «Стога сена» продана на аукционе Sothebyʼs в Нью-Йорке за 110,7 миллиона долларов. Это рекорд аукционной цены для картин этого художника.

Елена Фернандес из Сальвадора, Бразилия, открыла свой маленький тату-салон и тут же получила невероятную популярность среди местных жителей...

• Новости мира
Глава Джанкойского района сообщила о прекратившихся взрывах боеприпасов после диверсии
Взрывы на складе боеприпасов на севере Крыма после устроенной диверсии прекратились, сообщила ТАСС глава администрации Джанкойского района Инна Федоренко.

Связисты ЗВО транслируют в эфир для ВСУ радио «Жизнь» и призывают их сдаваться
Специалисты мобильного радиокомплекса Западного военного округа (ЗВО) транслируют радиосигнал для Вооруженных сил Украины (ВСУ) и населения освобожденных территорий Украины. Об этом сообщается на ...

Операция по денацификации Украины: оперативная сводка 17 августа (обновляется)
Ключевой тезис – Зеленский призвал жителей Крыма, других территорий подконтрольных войскам РФ не приближаться к военным объектам и складам российской армии. Заявил, что уничтожение логистики армии РФ ...


Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса      

Информация к новости
  • Просмотров: 2929
  • Комментариев: 0
  • Автор: Бэкки
  • Дата: 10-06-2019, 16:31
  • В закладки:
  • 0
10-06-2019, 16:31


В Лаборатории искусственного интеллекта MIT опубликовали Speech2Face — модель, которая реконструирует лицо человека по записи его голоса. Нейросеть обучалась на миллионах видеозаписей с YouTube, на которых демонстрируется разговор человека. Задача заключалась в том, чтобы понять, может ли голос отражать внешние характеристики его обладателя. Исследователи не фокусировались на том, чтобы точно реконструировать портрет человека по голосу, а на том, чтобы восстановить основные внешние характеристики.

Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса

Архитектура модели

На вход модель принимает спектограмму аудиозаписи голоса. Спектограмма — визуальное представление аудиоволн. На выходе модель отдает вектор размером в 4096 с характеристиками лица, который затем декодируется в изображение лица. Декодирование из вектора с характеристиками в изображение лица происходит с помощью предобученной нейросети.Обучалась модель на датасете AVSpeech. Для этой цели исследователи использовали предобученную VGG-Face.Пайплайн обучения модели можно разделить на два шага:

1. Кодировщик голоса, который принимает на вход спектограмму и предсказывает вектор с характеристиками лица человека;

2. Декодировщик лица, который принимает на вход вектор с характеристиками лица человека и генерирует лицо человека в стандартном формате (анфас и безэмоциональное)

Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса

Во время обучения декодировщик лица был зафиксирован и обучался только кодировщик голоса. Декодировщик лица исследователи взяли готовым из работы Cole et al.

Оценка работы модели

Нейросеть была протестирована с помощью качественных и количественных метрик. Во время экспериментов модель тестировалась на датасетах AVSpeech и VoxCeleb. Ниже можно, что чем длиннее входная аудиозапись (3 сек против 6 сек), тем выше количественная метрика и тем ближе сгенерированное изображение к истинному.

Нейросеть Speech2Face генерирует изображение лица человека по аудиозаписи голоса





Вернуться   ==   Сообщить об ошибке? ==  Просмотров: 2929  ==  Комментариев: 0    Автор: Бэкки


Дорогие друзья! У нас появилась официальная группа вконтакте: http://vk.com/vestnik_k - теперь следить за нашими новостями еще удобнее!
поделиться с друзьями     
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь. Мы рекомендуем Вам зарегистрироваться, либо войти на сайт под своим именем, чтобы получить доступ ко всем ресурсам сайта.

Информация

Посетители, находящиеся в группе Гость, не могут оставлять комментарии к данной публикации.
  • На Главную
  • Реклама
    Новости мира
    Глава Джанкойского района сообщила о прекратившихся взрывах боеприпасов после диверсии
    Взрывы на складе боеприпасов на севере Крыма после устроенной диверсии прекратились, сообщила ТАСС глава администрации Джанкойского района Инна Федоренко.

    Связисты ЗВО транслируют в эфир для ВСУ радио «Жизнь» и призывают их сдаваться
    Специалисты мобильного радиокомплекса Западного военного округа (ЗВО) транслируют радиосигнал для Вооруженных сил Украины (ВСУ) и населения освобожденных территорий Украины. Об этом сообщается на ...

    Операция по денацификации Украины: оперативная сводка 17 августа (обновляется)
    Ключевой тезис – Зеленский призвал жителей Крыма, других территорий подконтрольных войскам РФ не приближаться к военным объектам и складам российской армии. Заявил, что уничтожение логистики армии РФ ...

    Вверх
    Вверх