Generative — модель генерирует новый текст, а не выбирает готовый ответ из базы. Pre-trained — сначала её обучают на огромном массиве текстов, и только потом настраивают под конкретные задачи. Transformer — архитектура нейронной сети, предложенная исследователями Google в 2017 году.
GPT — это семейство больших языковых моделей, которые разрабатывает компания OpenAI. Самая известная из них, ChatGPT, доступна как обычное приложение: вы пишете запрос, а модель отвечает.
Вся «магия» начинается с одной задачи: по началу фразы предсказать, что будет дальше.
