Как мы строим умный «файрвол» для LLM

Привет, Хабр! Я Данила Катальшов, старший промпт-инженер в команде фундаментальных исследований MWS AI. Недавно вместе с коллегами из корейского университета KOREATECH мы опубликовали научную статью, в которой представили новый фреймворк для борьбы с такими грехами LLM, как галлюцинации, генерация токсичного контента и уязвимость к промпт‑атакам. Мы его назвали AVI — Aligned Validation Interface. По сути это внешний, гибкий и независимый от модели фильтр, работающий как умный файрвол для LLM. Почитать на научном языке о нашем подходе можно в журнале Applied Science . Здесь же я постараюсь чуть менее научно и уж точно покороче пересказать его суть. Заинтересовавшиеся – велком под кат.

https://habr.com/ru/companies/mts_ai/articles/926296/

T-Pro 2.0 — открытая гибридно-ризонинговая русскоязычная LLM

Всем привет! На связи Толя Потапов, MLE в Т-Банке. Мы продолжаем развивать собственную линейку моделей GEN-T и внутренние продукты на основе своих моделей: агенты в саппорте, внутренние копилоты для сотрудников и Вселенную ассистентов. Мы уже делились большими языковыми моделями T-lite 0.1, T-lite 1.0 и T-pro 1.0. Модели завоевали популярность и скачиваются суммарно более 15к раз в месяц. Сегодня делимся новой моделью T-pro 2.0 , обученной на основе модели Qwen3 32B , но с более плотной токенизацией на русском языке . Модель поддерживает гибридный ризонинг и позволяет сгенерировать рассуждение перед тем как отвечать. Это помогает в сложных задачах, где требуется несколько последовательных выводов, таких как математика. Мы дообучали модель в несколько этапов, чтобы прокачать общее качество решения задач на русском и улучшить генерацию рассуждений. Расскажу общие детали процесса обучения модели, основные характеристики и результаты замеров качества. Поделюсь, какие сложности у нас возникали и на чем планируем сосредоточиться.

https://habr.com/ru/companies/tbank/articles/928956/

Ключевые понятия LLM

Современные языковые модели ( large language models ) стали ключевым элементом в развитии искусственного интеллекта и обработки естественного языка. Модели, основанные на глубоком обучении и архитектуре трансформеров, способны генерировать текст, отвечать на вопросы, писать код, создавать художественные произведения и даже участвовать в логических рассуждениях.

https://habr.com/ru/companies/bothub/articles/928752/

Как мы построили свой инструмент для работы с LLM

Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи. В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio. Итак, что же такое Data Studio ? Data Studio — это инструмент для работы с задачами обработки естественного языка (NLP), который мы используем в основном для улучшения качества перевода текста. С помощью Data Studio можно обучать модели перевода, настраивать различные параметры для этих тренировок, токенизировать данные, фильтровать их по различным параметрам, собирать метрики, создавать данные для обучения, тестирования и валидации и многое другое. Общий процесс создания языковой модели для перевода выглядит так: 1) Предобработка данных: этап подготовки данных перед обучением модели. 2) Фильтрация с использованием структурных и семантических фильтров. 3) Сбор общего набора данных: удаление избыточности, равномерное распределение тем и длин, сортировка. 4) Тегирование для классификации данных. 5) Загрузка общего набора данных в Data Studio для проверки. 6) Создание данных для валидации и тестирования модели. 7) Обучение модели.

https://habr.com/ru/articles/924174/

«Тупой ИИ» с нами надолго. Почему в новых моделях больше галлюцинаций

В последние несколько месяцев ведущие модели обновились с функцией «рассуждений» (reasoning). Предполагалось, что качество ответов улучшится. Но последующие тесты показали, что уровень галлюцинаций сильно вырос . И это не какая-то случайная недоработка разработчиков, а фундаментальное свойство. Сейчас становится очевидным, что от галлюцинаций мы не избавимся никогда .

https://habr.com/ru/companies/ruvds/articles/920924/

«Тупой ИИ» с нами надолго. Почему в новых моделях больше галлюцинаций

В последние несколько месяцев ведущие модели обновились с функцией «рассуждений» (reasoning). Предполагалось, что качество ответов улучшится. Но последующие тесты показали, что уровень галлюцинаций сильно вырос . И это не какая-то случайная недоработка разработчиков, а фундаментальное свойство. Сейчас становится очевидным, что от галлюцинаций мы не избавимся никогда .

https://habr.com/ru/companies/ruvds/articles/920924/

Кто сильнее в синтезе тестов? Сравниваем GPT-4.1, DeepSeek, Qwen на своем бенчмарке

Выбор LLM для синтеза тестов В этом обзоре мы обсудим сравнение различных современных языковых моделей (LLM) на задаче синтеза тестов. Все измерения проводились на внутреннем бенчмарке компании Explyt, который включает в себя как закрытые, так и open source проекты на языках Java и Kotlin, с использованием Spring и без. В качестве метрик используются формальные метрики, например, покрытие строк тестируемого класса/метода, число запускаемых тестов, число компиляционных ошибок, мутационное покрытие, так и LLM-as-judge метрики такие, как сложность/полезность/детальность тестовых сценариев, соответствие тестового метода сценарию на естественном языке и много других. Эксперименты проводились поверх Explyt Test плагина для IntelliJ Idea, к которому подключались разные модели и измерялось качество синтеза тестов на бенчмарке. Для более точной градации мы используем попарное сравнение разных моделей друг с другом. GPT-4o vs. GPT-4.1 Начнем с хорошего базового варианта gpt-4o и сравним ее с новой моделью gpt-4.1 от OpenAI. На нашем внутреннем бенчмарке gpt-4.1 генерирует более сложные, детальные и полезные сценарии (согласно LLM-as-judge метрикам) в отличие от ее предшественницы gpt-4o, которая в основном тестирует happy-path сценарии. Также gpt-4.1 лучше имплементирует запрошенное в сценариях поведение, метрика показывает: 0.86 vs 0.66 (c p-value = 0.0006). По формальным метрикам таким, как среднее покрытие кода (coverage) и число запускаемых тестовых классов, модели примерно похожи, без статистически значимого отличия. По цене gpt-4.1 дешевле, но так как она больше тратит токенов, то цена на нашем бенчмарке примерно совпадает с gpt-4o.

https://habr.com/ru/companies/explyt/articles/917640/

Вычисление функции потерь и градиентов в AI переводчике

Привет, Хабр! Меня зовут Алексей Рудак, я основатель компании Lingvanex , которая разрабатывает решения в области машинного перевода и транскрипции речи. Продолжаю цикл статей о том, как устроен переводчик на нейронных сетях изнутри. И сейчас хочу рассказать про работу функции потерь. Для тренировки модели используется opensource фреймворк OpenNMT-tf. Статья предоставляет всесторонний обзор вычисления функции потерь в машинном обучении, особенно в контексте моделей последовательностей. Она начинается с подробного описания того, как матрица логитов, генерируемая после преобразований в декодере, обрабатывается через функцию cross_entropy_sequence_loss. Эта функция играет ключевую роль в измерении расхождения между предсказанными выводами и фактическими метками. В статье описаны шаги, включая преобразование логитов в подходящий формат, применение сглаживания меток для создания сглаженных меток и вычисление кросс-энтропийных потерь с использованием softmax. Каждый этап подробно объясняется, чтобы было понятно, как каждый компонент вносит вклад в общую оценку потерь. Кроме вычисления потерь, статья рассматривает механизм выравнивания, используемый для улучшения работы модели. Описано, как значение потерь корректируется на основе направляемого выравнивания, что позволяет модели лучше учитывать взаимосвязи между исходными и целевыми последовательностями. Также подробно рассматривается процесс вычисления и применения градиентов, иллюстрируя, как оптимизатор обновляет веса модели для минимизации потерь.

https://habr.com/ru/articles/917708/

#машинное+обучение #machinelearning #переводчик #переводчики #машинный_перевод #ии #искусственный_интеллект #языковые_модели #transformers #neural_networks

Оптимизация нейронных сетей для AI — переводчика

Всем привет! Меня зовут Алексей Рудак, и я – основатель компании Lingvanex , которая уже 8 лет занимается решениями в области машинного перевода и транскрипции речи. В этой статье рассматриваются несколько подходов, которые помогают повысить эффективность и качество языковых моделей для перевода. В качестве основы для тренировки моделей мы используем OpenNMT-tf. Мы поговорим о методах, которые способствуют постепенной настройке параметров модели, что может привести к более стабильным процессам обучения. Эти техники позволяют тонко настроить процесс обновления весов модели, что улучшает сходимость и в конечном итоге дает лучшие результаты. Кроме того, в статье обсуждаются стратегии управления темпами обучения, которые играют ключевую роль в том, насколько быстро модель обучается. Понимание того, как правильно корректировать темп обучения с течением времени, может существенно повлиять на динамику обучения и сделать модели более быстрыми и точными. Наконец, мы затронем важность управления контрольными точками, что позволяет эффективнее использовать обученные модели, усредняя веса из нескольких сессий обучения. Это помогает снизить риск переобучения и обеспечивает сохранение лучших характеристик модели, приобретенных в процессе обучения.

https://habr.com/ru/articles/916880/

#машинное+обучение #machinelearning #translator #ai #language_model #deeplearning #машинный_перевод #языковые_модели #нейросети #искусственный_интеллект

OpenAI готовит релиз ChatGPT-5 — разбор утечек и ожиданий

На прошедшей неделе Google выпустила обновленную Gemini 2.5 Pro, которая стала лидером в большинстве бенчмарков. Что на это ответит OpenAI? Компания готовится к выпуску ChatGPT-5, которая станет не только самой мощной LLM, но и значительно поменяет то, как пользователь работает с нейросетью. По крайней мере — в теории. Ниже я собрал все, что известно о ChatGPT-5 на данный момент.

https://habr.com/ru/articles/916614/

Сверхспособность LLM в понимании документа, сконвертированного в текст с ошибками — или почему наш RAG работает

Недавно я столкнулся с интересным поведением языковой модели, которое меня по-настоящему удивило, и хочу поделиться этим наблюдением с сообществом.

https://habr.com/ru/articles/915856/

Как мы протестировали AI-модели на извлечение данных из счетов: победитель удивил

Обработка счетов — важная и рутинная часть документооборота, которую всё чаще доверяют AI-моделям. Наша компания часто занимается интеллектуальной обработкой счетов для клиентов, а значит мы постоянно ищем лучший способ для их распознавания. Поэтому мы провели практическое исследование и сравнили, как с этой задачей справляются разные решения: от популярных open-source моделей до коммерческих API. Исследование включало несколько этапов: мы собрали разнообразный датасет из реальных счетов, привели его к единому формату, определили метрики и протестировали 7 популярных на наш взгляд моделей, чтобы понять:

https://habr.com/ru/articles/915076/

Языковые модели для бизнеса: сравниваем малые (SLM) и большие (LLM) модели

Большие языковые модели (LLM) звучат впечатляюще, но всегда ли нужно их использовать? Разберемся, в каких случаях стоит использовать LLM, а когда использование малых языковых моделей (SLM) окажется более разумным и экономичным решением без потери качества.

https://habr.com/ru/companies/mipt_digital/articles/913214/

Топ-100 нейросетей для генерации текста, кода, изображений, видео и аудио

После громкого дебюта ChatGPT и Midjourney в 2022 году нейросети стали появляться как грибы после дождя. Интернет наполнился большим количеством сервисов, предлагающих генерацию текста, кода, изображений, видео и аудио по текстовым запросам. Разумеется, многие из таких сервисов существовали и раньше, однако именно на 2022 и 2023 годы пришелся их рассвет — настолько стремительный и яркий, что неподготовленный пользователь может легко заблудиться в этом новом направлении. Для выбора подходящего инструмента необходима наглядность — знать, какие сервисы существуют, чем они отличаются и какими возможностями обладают. Так проще разобраться и сложнее запутаться. В этой статье собраны самые популярные платформы для генерации контента, работающие сразу «из коробки» — открыл, ввел, получил. Их можно классифицировать двумя способами — по контенту и по моделям .

https://habr.com/ru/companies/timeweb/articles/913494/

Prompt-инженерия: уменьшение сложности промпта

Раздражает непредсказуемость ответов от LLM? Устали вкладывать бюджет в более мощные модели? Если ваша цель — стабильная автоматизация и надёжный клиентский опыт с помощью LLM, то, скорее всего, вы упираетесь в одну и ту же проблему: сложность промптов . Эта статья постарается помочь навсегда забыть о «случайных» ответах и вывести эффективность ваших LLM‑решений на новый уровень.

https://habr.com/ru/articles/913062/

[Перевод] Часть 4. Обзор технологий RAG для LLM: аугментация извлеченных данных

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь , на вторую часть — здесь , третью часть — здесь ). В этой, четвертой части авторы совсем скромненько, словно тренировались заполнять налоговую декларацию, разбирают технологии аугментации извлеченных данных. Поскольку без пояснительной бригады часть их информации оказалась для меня совершенной абракадаброй (напомню, я — переводчик, то бишь гуманитарий) , я не поленился пройтись по упомянутым авторами ссылочкам на исследования, взять оттуда схемки и картинки, и добавил их к этой части тоже. Надеюсь, с ними рассуждения и наблюдения авторов будут значительно прозрачнее. Поехали! Прочитать остальные буквы

https://habr.com/ru/articles/910162/

История развития языковых моделей: ч. 1, от цепей Маркова до ELIZA

Доброго времени суток, «Хабр»! 2025 год на дворе, а мы уже успели познакомиться с сотнями языковых моделей, чьи возможности по-настоящему впечатляют. Написать осмысленный текст, проанализировать текст, найти в нём ключевые мысли? Без каких-либо проблем. Но задумывались ли вы, как всё начиналось ? Что существовало до эпохи языковых моделей — и было ли это «до» вообще? В сегодняшней статье мы совершим путешествие к истокам и найдем ответы на все вопросы. Пристегните ремни — будет познавательно!

https://habr.com/ru/companies/bothub/articles/909092/

Создаем свой RAG: введение в LangGraph

Привет, Хабр! В этой статье мы рассмотрим LangGraph — инструмент для построения сложных RAG-систем. Разберём его ключевые концепции и архитектурные принципы. В следующей части перейдём к практической реализации: изучим компоненты RAG-систем и способы их интеграции

https://habr.com/ru/articles/907844/

Ложь искусственного интеллекта

Представьте, вы указали нейросети на очевидную ошибку, а вместо исправления получаете неожиданную реакцию. Система генерирует текст, который напоминает человеческое сопротивление критике. На самом деле, вы глубоко заблуждаетесь в своей попытке меня поправить. Моя информация полностью верна, если не учитывать те факты, которые вы приводите. — ChatGPT o3-mini-high

https://habr.com/ru/articles/891302/

ChatGPT теперь говорит на праиндоевропейском (и перевёл на праиндоевропейский моё стихотворение)

Пользователь Reddit с ником Low-Needleworker-139 неделю назад объявил в сабреддите r/IndoEuropean , что создал на базе ChatGPT свою пользовательскую языковую модель, которую обучил на имеющемся корпусе реконструкций праиндоевропейского языка. Этот пользовательский чатбот получил название Déiwos-Lókwos GPT . Модель, согласно заявлениям пользователя, отражает как фонетику и грамматику (включая ларингалы и аблаут) так и характерный поэтический регистр, реконструируемый для праиндоевропейского. Одной из ключевых особенностей модели является её способность дообучаться на ходу: например, она придумает и сохранит неологизм, если у неё нет подходящего праиндоевропейского слова (например, "поезд" ). Обо всех подобных усовершенствованиях она сообщает системными сообщениями с заголовком UPGRADE . Автор предложил всем желающим тестировать модель, что я и сделал. Помимо праиндоевропейского, модель говорит на английском (другие языки не проверял, общался с ботом на английском). С первых сообщений нейросеть говорит, что она особенно хороша в поэзии и намекает, что надо дать ей перевести стишок... ну что ж, здесь у нас явно есть общие темы для разговора!

https://habr.com/ru/articles/904956/