ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ им. Г.И. МАРЧУКА
РОССИЙСКОЙ АКАДЕМИИ НАУК

ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ
им. Г.И. МАРЧУКА РАН

ИВМ РАН

119333, г. Москва, ул. Губкина, 8.
Тел.: (495) 984‑81‑20, (495) 989‑80‑24, факс: (495) 989‑80‑23, E‑mail: director@mail.inm.ras.ru

  • English


Семинар Вычислительная математика и приложения

19 ноября в 10:15 состоится доклад Александра Новикова “Тензорные методы в задачах машинного обучения” (Сколтех, представление диссертации) в рамках семинара Вычислительная математика и приложения под руководством акад. РАН Е.Е. Тыртышникова, чл.­корр. РАН Ю.В.Василевского, проф. В.И. Агошкова, А.Б.Богатырева и Ю.М.Нечепуренко

https://zoom.us/j/93260157011
Meeting ID: 932 6015 7011 Passcode: 795146

Абстракт доклада

Данная диссертационная работа на соискание учёной степени кандидата физикоматематических наук посвящена разработке эффективных тензорных методов для решения задач машинного обучения. Основными результатами работы являются: разработанный метод для оценки нормировочной константы и маргинальных распределений марковского случайного поля, на порядок опережающий аналоги по точности работы в проведенных экспериментах, а также его теоретический анализ; предложенный метод по сжатию нейронных сетей, использующий тензоры в ТТ-формате для параметризации слоев нейронной сети, позволяющий в численных экспериментах сжимать отдельные слои в сотни тысяч раз без потери качества; предложенная модель рекуррентной нейронной сети, позволяющая моделировать полиномиальные взаимодействия входов; и разработанный метод автоматического риманова дифференцирования функции на многообразии тензоров фиксированного ТТ-ранга (заданной в виде программной реализации), работающий с машинной точностью и с асимптотической сложностью работы равной сложности вычисления исходной функции в одной точке. Также, в рамках данной диссертации разработан комплекс программ, упрощающий работу на стыке машинного обучения и тензорных разложений, поддерживающий такие возможности, как запуск методов на графических ускорителях, векторизацию вычислений и предложенный метод для автоматического подсчета римановых градиентов.
Полученные результаты и комплекс программ значительно расширяют класс нейронных сетей, которые можно запускать на мобильных устройствах, и предоставляет инструменты для дальнейших исследований в этой области.

  • 2020-11-19 10:15:30
  • 2020-11-19 11:30:30