Плаксин Михаил Александрович, канд. физ.-мат. наук, доцент кафедры информационных технологий в бизнесе; доцент кафедры математического обеспечения вычислительных систем
614070, г. Пермь, ул. Студенческая, д. 38
614990, г. Пермь, ул. Букирева, д. 15
Perm
В статье обсуждаются три базовые момента работы генеративных нейросетевых моделей (генеративного искусственного интеллекта): понятие ≪токен≫, вероятностный характер генерируемого ответа и понятие ≪большая модель≫, размер которой обеспечивает псевдоразумное поведение нейросетевых чат-ботов. Принципиально не обсуждаются вопросы реализации генеративных моделей, области и способы их применения.
Приводятся материалы конкурса ≪ТРИЗформашка-2024≫, который был посвящен нейросетевым моделям. Демонстрируется факт псевдоразумности генеративных моделей. Оказывается, модель, обученная на одной-единственной фразе ≪мама мыла раму≫ и использующая для генерации контекст из одной-единственной буквы, может иногда вести себя так, как будто она знает правила склонения в русском языке и способна изменять слово по падежам!
Понятие ≪токен≫ рассматривается применительно к генерации текстов, картинок и паролей. На базе ≪токенов≫ выстраивается практически полезная методика генерации паролей, сложных для разгадывания, но простых для воспроизведения (сложных для забывания).
Понятие ≪большая модель≫ представляется наглядно и доходчиво за счет ≪визуализации≫ его путем сопоставления с физи ческими величинами. (Если бы один параметр нейросети весил один грамм, то для ее перевозки потребовалось бы 200 грузовых поездов. Если бы он имел длину в один миллиметр, то нейросеть оборачивалась ба вокруг Земли по экватору 25 раз. Если бы на обучение по одному параметру требовалась одна секунда, то начинать обучать современную нейросеть надо было бы во времена кроманьонцев.)
Материалы будут полезны для изучения генеративного искусственного интеллекта в любом возрасте.
Three basic aspects of the operation of generative neural network models (generative artificial intelligence) are discussed in the article: the concept of a "token", the probabilistic nature of the generated response, and the concept of a "large model", the size of which ensures the pseudo-intelligent behavior of neural network chatbots. The issues of implementing generative models, areas and methods of their application are not discussed in principle.
The materials of the "TRIZformashka-2024" competition, which was dedicated to neural network models, are provided. The fact of pseudo-intelligence of generative models is demonstrated. It turns out that a model trained on a single phrase "mama myla ramu" ("mama washed the frame") and using a context of a single letter for generation can sometimes behave as if it knows the rules of declension in the Russian language and is able to change a word by case!
The concept of a "token" is considered in relation to the generation of texts, pictures and passwords. On the basis of "tokens" a practically useful method of generating passwords is built, difficult to guess, but easy to reproduce (difficult to forget).
The concept of a "large model" is presented clearly and intelligibly due to its "visualization" by comparing it with physical quantities. (If one parameter of a neural network weighed one gram, then 200 freight trains would be needed to transport it. If one parameter had a length one millimeter, then the neural network would revolve around the Earth at the equator 25 times. If one second was required to learn one parameter, then it would be necessary to start training a modern neural network in the times of the Cro-Magnons.)
The materials will be useful for studying generative artificial intelligence at any age.
The authors declare that there are no conflicts of interest present.