Что такое механизм трансформеров и почему нейросети так сильно поумнели

Механизм внимания, в моём примере, понимает что нужно сфокусироваться на самых главных словах в предложении: на слове "установили" - т.к. это глагол, он обозначает основное событие; и на слове "замок", т.к. это объект над которым происходит действие. т.к. именно эти слова задают основной смысл происходящего с точки зрения логики и русского языка. Это объяснение для гуманитариев 🙂 программно же в нейросети есть формула, по которой вычисляется сила связи между словами (перемножение матриц в которых указываются веса каждого слова по отношению к каждому слову) 🤓 + нейросеть с механизмом трансформеров "смотрит" на весь текст сразу, т.е. контекст который она обрабатывает является более полным по сравнению с нейросетями прошлого поколения (нейросети прошлого поколения без трансформеров могли "забыть" что же было ранее в начале текста). Что такое механизм трансформеров и почему нейросети так сильно поумнели. 00:00:00 Введение в нейросети • Объяснение, что такое нейросети и как они работают. • Упоминание о механизме трансформеров как основной причине повышения интеллекта нейросетей. 00:00:30 Принцип работы нейросетей • Нейросеть учится на текстовых материалах, формируя модель понимания текстов. • Пример работы нейросети: приложение T9 предсказывает следующее слово на основе контекста. 00:01:25 Недостатки предыдущих нейросетей • Предыдущие нейросети не всегда корректно понимали контекст и генерировали неуместные слова. • Генеративные текстовые модели, такие как ChatGPT, лучше...