MPNet
Маскированное и переставленное предварительное обучение для понимания языка
О MPNet
MPNet - это техника предварительного обучения для языковых моделей, которая объединяет концепции маскированного моделирования языка (MLM) и переставленного моделирования языка (PLM). Она учитывает взаимосвязь между словами, которые предсказываются с использованием PLM, тем самым избегая проблемы BERT.
Скриншоты MPNet
Читать на английском