GPT-2

GPT-2 - это современный искусственный интеллект, разработанный OpenAI в феврале 2019 года.

Модель OpenAI GPT-2 впервые была предложена в докладе «Языковые модели являются несупервизированными многозадачными учениками» Алека Рэдфорда, Джеффри Ву, Ревона Дета, Дэвида Луана, Дарио Амодеи и Ильи Суцкевера.

Это алгоритм машинного обучения, основанный на архитектуре трансформатора, который был обучен на огромном датасете, содержащем приблизительно 40 ГБ текстовых данных.

В докладе подведено итоговое описание GPT-2:

GPT-2 - это большая языковая модель, основанная на трансформаторе, с 1,5 миллиардов параметров, обученная на датасете из 8 миллионов веб-страниц. GPT-2 обучается простой целью: предсказать следующее слово, исходя из всех предыдущих слов в некотором тексте. Разнообразие датасета приводит к тому, что эта простая цель содержит естественно возникающие демонстрации многих задач по разным областям. GPT-2 - это прямое масштабирование GPT с более чем 10X параметров и обученная на более чем 10X объем данных.