Смолин В.С. Обзор статьи "Глубокое обучение для ИИ", Й. Бенжио, Ян Лекун, Дж. Хинтон июль 2021 г.

Нейросетевой семинар ИПМ им. М.В. Келдыша РАН. Будет рассмотрен материал свежей (июль 2021 г.) статьи трёх лауреатов премии Тьюринга 2018 г., которые высказывают свои представления об успехах, проблемах и перспективах развития нейросетевого подхода для построения ИИ. Вот что пишут авторы в начале своей статьи: "Исследования искусственных нейронных сетей были мотивированы наблюдением, что человеческий интеллект возникает из высокопараллельных сетей относительно простых нелинейных нейронов, которые обучаются, регулируя силу своих связей. Эти наблюдения приводит к центральному вычислительному вопросу: как могут сети такого общего типа изучать сложные внутренние представления, необходимые для сложных задач, таких как распознавание объектов или понимание языка? Глубокое обучение пытается ответить на этот вопрос, используя множество уровней векторов активности в качестве представлений и изучая силу связи, которая порождает эти векторы, следуя стохастическому градиенту целевой функции, которая измеряет, насколько хорошо работает сеть. Очень удивительно, что такой концептуально простой подход оказался настолько эффективным при применении к большим обучающим выборкам, использующим огромные объемы вычислений, и, похоже, ключевым ингредиентом является глубина: мелкие сети просто не работают."