Быстрое введение в мир существующих больших языковых моделей LLM для начинающих Хабр

Также LmSys ведёт таблицу рекордов, в которой приведены результаты различных крупных LLM на основании рейтингов MLE-Elo. Вот небольшой пример того, как можно легко оценить модель Mistral на задаче HellaSwag (задаче, оценивающей способности LLM к рассуждениям на основе здравого смысла). Очень простой пример — это F1-score, являющаяся гармоническим средним precision и recall. Все эти термины часто используются в сфере оценки LLM, поэтому крайне важно понять, что они значат.

Метрики классификации

Однако и здесь не всё так просто, поскольку расчёт PR-AUC также основан на методе трапеций, который, в свою очередь, использует линейную интерполяцию. Если интерполяцию между двумя точками в ROC-пространстве можно выполнить, просто соединив их прямой линией, то в PR-пространстве интерполяция может иметь более сложную связь. При изменении уровня Recall, метрика Precision не обязательно будет изменяться линейно, поскольку FP https://aimagazine.com   заменяет FN в знаменателе Precision. В таком случае линейная интерполяция является ошибочной и может давать слишком оптимистичную оценку качества модели. Проще говоря, в случае PR-AUC такой подход может считать завышенную площадь под кривой. Эффективное использование ресурсов позволит не только повысить производительность компании, но и существенно сократить расходы на оборудование https://ai.alberta.ca   и обслуживание. Но даже если бы она у нас была, LLM — это вероятностные механизмы, из-за чего применение детерминированных тестов не дало бы адекватных результатов. Кроме того, важно тестирование в реальном времени и нагрузочное тестирование (испытания «красной командой»). Но всё это пока практически отсутствует, что замедляет процесс разработки продуктов генеративного ИИ уровня продакшена.

Как Яндекс помогает преодолеть языковой барьер: нейросетевой перевод видео, картинок и текста

Это позволяет ей работать с абсолютно любыми текстами, на любых языках, при этом не переобучаясь каждый раз для новых задач. Но, в связи, с не самой высокой точностью предсказания, качество текстов не всегда удовлетворител ьно. Последние пять лет я погружался в увлекательный мир машинного обучения и глубокого обучения. Моя страсть и опыт позволили мне принять участие в более чем 50 различных проектах по разработке программного обеспечения, уделяя особое внимание AI/ML. https://auslander.expert/ai-content-riski-resheniya/

• Они включают веса и смещения, которые модель корректирует во время обучения, чтобы минимизировать ошибки в прогнозах.
• Проще всего это делать побуквенно, подавая на каждый вход нейросети по одной букве.
• 16 Гб VRAM вполне достаточно для инференса этой модели с размером батча 1, поэтому подойдёт не только NVIDIA A100, на которой мы обучали адаптер, но и более доступная NVIDIA V100.
• Если термин не встречается в документе, то его вес в этом документе равен нулю.

Например, потери больших блоков текста в переводе (undertranslation) или, наоборот, «придумывание» текста от себя в отрыве от source-предложения (overtranslation). При независимом переводе блоков, в которых содержится лексическая когезия, перевод ключевых слов может получиться неконсистентным. В таком случае связность текста теряется, что также затрудняет восприятие смысла. Когезия — способ связывать между собой предложения внутри текста, а лексическая когезия делает это с помощью повторений или других референтных выражений между словами. Кроме того, из одного и того же датасета документов можно получить значительно больше обучающих сэмплов предложений, чем сэмплов параграфов или бо́льших фрагментов. Если суммарно данных не так много, то обучение на предложениях — единственный вариант.

Другие подходы к тематическому моделированию

Тест NOLIMA (No Literal Matching) проверяет, насколько хорошо модели AI могут связывать информацию и делать выводы, не полагаясь на совпадающие слова. В тесте используются вопросы и текстовые отрывки, составленные таким образом, чтобы избежать использования общей лексики, что заставляет модели понимать концепции и устанавливать связи. Сама модель, которая будет использоваться для данной задачи, называется Mistral-7B-Instruct от компании Mistral.AI. Это модель с инструкциями (то есть обученная с помощью RLHF следовать инструкциям пользователя) на 7 миллиардов параметров. После использования всех инструментов такая модель при работе будет занимать ≈4.5GB обычной RAM памяти, а также иметь скорость примерно 1.2 токена в секунду при использовании на среднеценовом процессоре. Обычно высокие значения смещения и разброса соответствуют недообучению и переобучению модели соответственно, поэтому в идеале нам хотелось бы устремить эти значения к нулю. Компании хотят понимать общественное мнение о своих продуктах и брендах, но анализировать миллионы постов и комментариев вручную практически невозможно. Вот где анализ текстовых данных и тематическое моделирование приходят на помощь. Эти методы позволяют автоматически выявлять темы, тональность и структуру текста, делая процесс анализа эффективным и масштабируемым. При этом меньшего количества графовых гипотез оказалось достаточным для достижения качества классификации отзывов, сопоставимого с качеством классификации в случае использования векторных гипотез. В последние годы нейронные модели с использованием машинного обучения стали большой частью разнообразных сфер человеческой деятельности. Одним из наиболее растущих направлений в этом контексте стало использование языковых моделей, таких как LLM (Large Language Models). Эти модели, которые включают в себя современные достижения в сфере обработки языка, имеют потенциал решать разнообразные задачи в широком спектре областей. От анализа текста, суммаризации и автоматического перевода до генерации контента и управления данными, LLM модели оказались чрезвычайно полезными инструментами для решения сложных задач в современном мире. Определение архитектуры нейронной сети начинается с понимания задачи, которую необходимо решить. С одной стороны, такая постановка задачи для языковой модели приближённо оптимизирует прямую ценность для клиента — получение им релевантного его проблеме ответа. С другой стороны, для модели — так как в неё исходно не зашиты экспертные знания, связанные с банковскими услугами, ипотекой и недвижимостью — может быть неочевидно, какой из ответов сценариев принесёт клиенту максимальную ценность. Например, если у вас есть ограниченный объем данных или данные с плохим качеством, это может повлиять на выбор методов анализа и принятия решений. Автоподбор параметров в трансформерах - это процесс оптимизации архитектуры нейронной сети путем автоматического нахождения оптимальных гиперпараметров.