19 ноября в 10:15 состоится доклад Александра Новикова “Тензорные методы в задачах машинного обучения” (Сколтех, представление диссертации) в рамках семинара Вычислительная математика и приложения под руководством акад. РАН Е.Е. Тыртышникова, чл.корр. РАН Ю.В.Василевского, проф. В.И. Агошкова, А.Б.Богатырева и Ю.М.Нечепуренко
https://zoom.us/j/93260157011
Meeting ID: 932 6015 7011 Passcode: 795146
Абстракт доклада
Данная диссертационная работа на соискание учёной степени кандидата физикоматематических наук посвящена разработке эффективных тензорных методов для решения задач машинного обучения. Основными результатами работы являются: разработанный метод для оценки нормировочной константы и маргинальных распределений марковского случайного поля, на порядок опережающий аналоги по точности работы в проведенных экспериментах, а также его теоретический анализ; предложенный метод по сжатию нейронных сетей, использующий тензоры в ТТ-формате для параметризации слоев нейронной сети, позволяющий в численных экспериментах сжимать отдельные слои в сотни тысяч раз без потери качества; предложенная модель рекуррентной нейронной сети, позволяющая моделировать полиномиальные взаимодействия входов; и разработанный метод автоматического риманова дифференцирования функции на многообразии тензоров фиксированного ТТ-ранга (заданной в виде программной реализации), работающий с машинной точностью и с асимптотической сложностью работы равной сложности вычисления исходной функции в одной точке. Также, в рамках данной диссертации разработан комплекс программ, упрощающий работу на стыке машинного обучения и тензорных разложений, поддерживающий такие возможности, как запуск методов на графических ускорителях, векторизацию вычислений и предложенный метод для автоматического подсчета римановых градиентов.
Полученные результаты и комплекс программ значительно расширяют класс нейронных сетей, которые можно запускать на мобильных устройствах, и предоставляет инструменты для дальнейших исследований в этой области.
- 2020-11-19 10:15:30
- 2020-11-19 11:30:30