Mastodon 🐘

Habr[Перевод] ИИ под контролем: Guardrails как щит от рисков в агентных системахВы когда-нибудь задавали вопрос AI-чатботу и получали в ответ что-то вроде: «Я не могу с этим помочь» ? Если да — значит, вы уже сталкивались с guardrails в действии. Это встроенные механизмы контроля, ограничивающие, что именно может и не может делать система ИИ. Например, представьте себе AI-агента, работающего в роли тревел-ассистента. Он поможет вам забронировать рейсы или отели, но не станет отвечать на вопросы по истории или объяснять, как починить компьютер. Это потому, что его поведение ограничено guardrails, сконфигурированными под выполнение конкретных задач. В этой статье мы разберёмся, что такое guardrails, как они работают и почему они критичны для построения безопасных и надёжных агентных систем ИИ. Поехали!<a href="https://habr.com/ru/articles/936156/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/936156/</a><a href="https://zhub.link/tags/ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai</a> <a href="https://zhub.link/tags/ai_agent" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai_agent</a> <a href="https://zhub.link/tags/ai_chatbot" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai_chatbot</a> <a href="https://zhub.link/tags/%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#ии</a> <a href="https://zhub.link/tags/%D0%B8%D0%B8%D0%B0%D1%81%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BD%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#ииассистент</a> <a href="https://zhub.link/tags/%D0%B8%D0%B8_%D1%87%D0%B0%D1%82%D0%B1%D0%BE%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#ии_чатбот</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#искусственный_интеллект</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://zhub.link/tags/genai" class="mention hashtag" rel="nofollow noopener" target="_blank">#genai</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a>

HabrКак мы построили свой инструмент для работы с LLMПривет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи. В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio. Итак, что же такое Data Studio ? Data Studio — это инструмент для работы с задачами обработки естественного языка (NLP), который мы используем в основном для улучшения качества перевода текста. С помощью Data Studio можно обучать модели перевода, настраивать различные параметры для этих тренировок, токенизировать данные, фильтровать их по различным параметрам, собирать метрики, создавать данные для обучения, тестирования и валидации и многое другое. Общий процесс создания языковой модели для перевода выглядит так: 1) Предобработка данных: этап подготовки данных перед обучением модели. 2) Фильтрация с использованием структурных и семантических фильтров. 3) Сбор общего набора данных: удаление избыточности, равномерное распределение тем и длин, сортировка. 4) Тегирование для классификации данных. 5) Загрузка общего набора данных в Data Studio для проверки. 6) Создание данных для валидации и тестирования модели. 7) Обучение модели.<a href="https://habr.com/ru/articles/924174/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/924174/</a><a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8e" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучениe</a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%80%D0%B8%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#инструментарий</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://zhub.link/tags/llm%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#llmмодели</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#языковые_модели</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://zhub.link/tags/%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#большие_языковые_модели</a> <a href="https://zhub.link/tags/ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#обработка_данных</a>

HabrЭра ИИ: судьба работников умственного трудаЕсли вы работаете с компьютером удаленно — вас можно заменить. Я переживаю, что с развитием ИИ (искусственного интеллекта), он скоро заменит нас. Людям, работающим с монитором и клавиатурой, технически сделать замену гораздо проще, чем сантехникам, поварам и нефтяникам. Владельцы бизнесов быстро сделают выбор в пользу оплаты подписки ИИ или установки своей такой системы, вместо людей, если это будет дешевле и эффективнее. Подобное уже произошло раньше на заводах, но это заняло несколько поколений. И если раньше, лет 200 назад, на заводе трудились десятки тысяч человек, то сейчас аналогичный завод обслуживают всего сотни сотрудников. Так и с работниками умственного труда, как только станут доступны эффективные замещающие технологии, так такие работники не понадобятся. Перспектива подобных потрясений пугает!<a href="https://habr.com/ru/articles/919010/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/919010/</a><a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#нейронные_сети</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#роботы</a> <a href="https://zhub.link/tags/%D1%83%D0%B4%D0%B0%D0%BB%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F_%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#удаленная_работа</a> <a href="https://zhub.link/tags/%D1%80%D1%8B%D0%BD%D0%BE%D0%BA_%D1%82%D1%80%D1%83%D0%B4%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#рынок_труда</a>

Habr[Перевод] Возвращаюсь к работе мозгом после месяцев кодинга с LLMTLDR: LLM неплохо справляются с кодингом, но в больших проектах они пишут запутанный сумбур. Я уменьшил объём использования ИИ при кодинге и вернулся к работе головой, ручке и бумаге. Несколько месяцев назад мне нужно было создать новую инфраструктуру для моего SaaS, потому что связка из PHP+MySQL перестала отвечать нашим требованиям. Мне не терпелось воспользоваться этой возможностью, чтобы максимально задействовать все новые LLM, с которыми я экспериментировал. Поэтому я временно отказался от должности разработчика ПО, став сам себе продакт-менеджером. Я обсуждал с Claude технологии, проводил собственные исследования и спустя много итераций составил план. В итоге я решил использовать Go+Clickhouse. Когда настала пора начинать кодить, я попросил Claude сгенерировать большой и сложный файл markdown с описанием моей старой инфраструктуры, желаемой новой инфраструктуры, перечислением того, чего я хочу достичь, почему мне это нужно и так далее. Потом я закинул это всё в Cursor Notepads и начал составлять промпты. Cursor пишет код, я собираю и тестирую его. Меня вполне устраивало происходящее, кодовая база была не самой чистой, но вроде работала. Мне важнее была скорость разработки, а не чистота кода — мои бизнес-клиенты SaaS сказали, что им нужны определённые данные, а эта новая инфраструктура была единственным способом их доставки. У меня было ещё несколько потенциальных клиентов, ожидающих моего сообщения о том, что всё готово, чтобы можно было приобрести тарифный план. Пока всё не готово, я в буквальном смысле каждый день теряю деньги.<a href="https://habr.com/ru/articles/910978/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/910978/</a><a href="https://zhub.link/tags/gemini" class="mention hashtag" rel="nofollow noopener" target="_blank">#gemini</a> <a href="https://zhub.link/tags/deepseek" class="mention hashtag" rel="nofollow noopener" target="_blank">#deepseek</a> <a href="https://zhub.link/tags/claude" class="mention hashtag" rel="nofollow noopener" target="_blank">#claude</a> <a href="https://zhub.link/tags/%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#большие_языковые_модели</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a>

HabrБольшой обзор больших языковых моделейLLM, или большая языковая модель, это нейронная сеть с крайне большим количеством изменяемых параметров, которая позволяет решать задачи по обработке и генерации текста. Чаще всего реализована в виде диалогового агента, с которым можно общаться в разговорной форме. Но это только определение, причём одно из. В статье — больше о понятиях LLM, из чего она состоит, а также возможность немного попрактиковаться.<a href="https://habr.com/ru/companies/gaz-is/articles/884410/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/gaz-is/articles/884410/</a><a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://zhub.link/tags/nlp" class="mention hashtag" rel="nofollow noopener" target="_blank">#nlp</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#нейросети</a> <a href="https://zhub.link/tags/%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B0%D1%8F_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D0%B0%D1%8F_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#большая_языковая_модель</a>

HabrМашинный переводАвтор статьи: Сергей Артамонов - DS Wildberries, Research Engineer Skoltech, аспирант мехмата МГУ, преподаватель Школы Высшей Математики Машинный перевод - одна из самых старых и проработанных задач обработки естественного языка. Машинный перевод выделяется на фоне всего многообразия задач этой дисциплины, и для этого есть несколько причин. Во-первых, машинный перевод – одна из наиболее практически значимых задач всей индустрии: машинный перевод применим повсеместно, и едва ли найдётся область, в которой не требовалось бы автоматически переводить тексты с одного языка на другой. Во-вторых, история развития машинного перевода олицетворяет историю развития NLP в целом – в машинном переводе, как в зеркале, отражались популярные подходы к обработке языка своего времени. Наконец, машинный перевод уникален тем, что в определённом смысле в последние 70 лет был локомотивом ключевых изменений, происходивших не только в NLP, но и в AI в целом: огромное количество идей и разработок, составляющих сегодня техническую повседневность, были впервые опробованы в качестве методов улучшения задачи машинного перевода. Сегодня мы поговорим о том, как развивались методы машинного перевода, как машинный перевод двигал вперёд NLP, что он представляет из себя сегодня и как понять, хороший ли перевод перед нами.<a href="https://habr.com/ru/articles/879240/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/879240/</a><a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%B5%D1%80%D0%B5%D0%B2%D0%BE%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинный_перевод</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#искусственные_нейронные_сети</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/%D0%A8%D0%BA%D0%BE%D0%BB%D0%B0_%D0%92%D1%8B%D1%81%D1%88%D0%B5%D0%B9_%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D0%BA%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#Школа_Высшей_Математики</a> <a href="https://zhub.link/tags/%D0%A8%D0%92%D0%9C" class="mention hashtag" rel="nofollow noopener" target="_blank">#ШВМ</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a>

HabrНевидимые герои. Почему профессия промпт-инженера действительно важна для ML-сферыВсем привет. Я Игорь Филатов, ML-разработчик в компании MTS AI, до этого я около полугода работал промпт-инженером. Сегодня я расскажу вам о том, из чего состоит работа промпт-инженера, можно ли назвать ее тяжелым трудом, и как попасть в эту сферу. И заодно признаюсь, почему я все же решил сменить эту профессию. В чем суть промпт-инжиниринга? Обычно промпт-инжиниринг понимают в широком смысле – это процесс написания промптов для решения той или иной задачи. Правда, здесь подразумеваются не только бытовые запросы, когда пользователь хочет получить что-то конкретное – например, рецепт лазаньи или текст для публикации в соцсетях. промпт-инженер также решает более стратегические задачи – например, как с помощью более оптимального использования нейросетей тратить меньше времени и ресурсов на выполнение тех или иных бизнес-задач, получая стабильный и качественный результат. В узком смысле промпт-инжиниринг — это про оптимизацию запросов к языковым моделям. Этот процесс не похож на бытовое написание промптов, он ближе к научно-исследовательским подходам. Чтобы добиться нужного результата. специалисты применяют специальные техники – например, Chain of Thought, когда при решении задачи модель последовательно объясняет полную цепочку своих размышлений, тем самым повышая качество ответа и интерпретируемость данных. У промпт-инжиниринга и генеративных нейросетей в целом есть одно ключевое преимущество – работать с ними быстро и просто. Это позволяет условному продакт-менеджеру или маркетологу протестировать гипотезу или составить Proof-of-Concept, для этого не нужно быть классным ML-специалистом и тратить много часов на получение первичного результата.<a href="https://habr.com/ru/companies/mts_ai/articles/870014/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/mts_ai/articles/870014/</a><a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%BC%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#промт</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%BC%D0%BF%D1%82%D0%B8%D0%BD%D0%B6%D0%B8%D0%BD%D0%B8%D1%80%D0%B8%D0%BD%D0%B3" class="mention hashtag" rel="nofollow noopener" target="_blank">#промптинжиниринг</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%BC%D0%BF%D1%82%D0%B8%D0%BD%D0%B3" class="mention hashtag" rel="nofollow noopener" target="_blank">#промптинг</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%BC%D0%BF%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#промпт</a> <a href="https://zhub.link/tags/%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#ии</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#искусственный_интеллект</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://zhub.link/tags/promptengineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#promptengineering</a>

HabrКак мы обучили Mistral 7B русскому языку и адаптировали для объявлений АвитоПривет! Я Настя Рысьмятова, руковожу командой LLM в Авито . Эта статья — про то, какие задачи мы решаем с помощью языковых моделей и как адаптируем их под себя. Мой опыт будет интересен прежде всего тем, кто тоже занимается большими языковыми моделями в крупных продуктовых компаниях. А всем остальным любопытно будет узнать, как модели учатся и решают конкретные задачи Авито — например, помогают пользователям писать тексты объявлений.<a href="https://habr.com/ru/companies/avito/articles/852958/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/avito/articles/852958/</a><a href="https://zhub.link/tags/LLM" class="mention hashtag" rel="nofollow noopener" target="_blank">#LLM</a> <a href="https://zhub.link/tags/large_language_models" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_models</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://zhub.link/tags/nlp" class="mention hashtag" rel="nofollow noopener" target="_blank">#nlp</a> <a href="https://zhub.link/tags/ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai</a> <a href="https://zhub.link/tags/avito" class="mention hashtag" rel="nofollow noopener" target="_blank">#avito</a>

HabrMoshi: GPT4-O voice mode дома (обзор)Прежде чем приступать к самому обзору, хотелось бы обозначить отличительные черты подхода, относительно большинства диалоговых систем: Текущие системы работают в каскадной манере: сначала «активационное» слово, затем аудио переводится в текст (ASR), текст обрабатывается и анализируется, и, наконец, ответ генерируется через TTS. Однако это медленно, теряет эмоции и «живость» разговора, и, что самое важное, все взаимодействие происходит через жесткое чередование говорящих — сначала ты, потом я, и так далее.<a href="https://habr.com/ru/articles/845744/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/845744/</a><a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://zhub.link/tags/sound" class="mention hashtag" rel="nofollow noopener" target="_blank">#sound</a> <a href="https://zhub.link/tags/ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai</a> <a href="https://zhub.link/tags/ml" class="mention hashtag" rel="nofollow noopener" target="_blank">#ml</a> <a href="https://zhub.link/tags/audio" class="mention hashtag" rel="nofollow noopener" target="_blank">#audio</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://zhub.link/tags/tts" class="mention hashtag" rel="nofollow noopener" target="_blank">#tts</a> <a href="https://zhub.link/tags/asr" class="mention hashtag" rel="nofollow noopener" target="_blank">#asr</a> <a href="https://zhub.link/tags/nlu" class="mention hashtag" rel="nofollow noopener" target="_blank">#nlu</a>

HabrАктуальные угрозы безопасности в Large Language Model ApplicationsПривет, Хабр! Меня зовут Артем Бачевский. Я был разработчиком, архитектором, потом перешел в отрасль информационной безопасности. Эта статья — переработка моего доклада с Saint HighLoad++, так что простите за мой французский. Там я рассказывал про актуальные угрозы в Large Language Model Applications и способы борьбы с ними. Поехали!<a href="https://habr.com/ru/companies/ru_mts/articles/841010/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/ru_mts/articles/841010/</a><a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#искуственный</a> <a href="https://zhub.link/tags/%D0%B1%D1%83%D0%B4%D1%83%D1%89%D0%B5%D0%B5_%D0%B7%D0%B4%D0%B5%D1%81%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#будущее_здесь</a> <a href="https://zhub.link/tags/%D0%B1%D1%83%D0%B4%D1%83%D1%89%D0%B5%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#будущее</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное</a>+обучение <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a>

Mark<a href="https://mastodon.sdf.org/tags/duckduckgo" class="mention hashtag" rel="nofollow noopener" target="_blank">#duckduckgo</a> <a href="https://mastodon.sdf.org/tags/ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai</a> <a href="https://mastodon.sdf.org/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://mastodon.sdf.org/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> DuckDuckGo has a Beta for using Large Language Models now.

Habr[Перевод] Как с помощью supervised fine-tuning кастомизировать LLMВ быстро развивающейся сфере Natural Language Processing (NLP) fine-tuning стал мощным и эффективным инструментом адаптации предварительно обученных больших языковых моделей (Large Language Model, LLM) под конкретные задачи. Предварительно обученные LLM (например, семейство GPT) продемонстрировали существенный прогресс в понимании и генерации языка. Однако эти предварительно обученные модели обычно учатся на огромных объёмах текстовых данных при помощи обучения без учителя и могут быть не оптимизированы под узкую задачу. Fine-tuning позволяет закрыть этот пробел, воспользовавшись преимуществами общего понимания языка, полученными во время предварительного обучения, и адаптировав их к целевой задаче при помощи обучения с учителем. Благодаря fine-tuning предварительно обученной модели на специфичном для задачи датасете разработчики NLP могут достигать впечатляющих результатов с гораздо меньшим объёмом данных обучения и вычислительных ресурсов, чем при обучении модели с нуля. В частности, для LLM fine-tuning крайне важен, так как повторное обучение на всём объёме данных вычислительно слишком затратно. Сравнение предварительного обучения LLM и fine-tuning Успех fine-tuning привёл ко множеству передовых результатов в широком спектре задач NLP и сделал его стандартной практикой в разработке высокоточных языковых моделей. Исследователи и практики продолжают исследовать варианты и оптимизации методик fine-tuning, чтобы ещё больше расширить возможности NLP. В этой статье мы глубже изучим процесс fine-tuning LLM на основе инструкций при помощи библиотеки transformers двумя разными способами: просто с библиотекой transformers и с модулем trl .<a href="https://habr.com/ru/articles/829324/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/829324/</a><a href="https://zhub.link/tags/%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#Машинное_обучение</a> <a href="https://zhub.link/tags/LLM" class="mention hashtag" rel="nofollow noopener" target="_blank">#LLM</a> <a href="https://zhub.link/tags/Finetuning" class="mention hashtag" rel="nofollow noopener" target="_blank">#Finetuning</a> <a href="https://zhub.link/tags/SFT" class="mention hashtag" rel="nofollow noopener" target="_blank">#SFT</a> <a href="https://zhub.link/tags/Supervised_finetuning" class="mention hashtag" rel="nofollow noopener" target="_blank">#Supervised_finetuning</a> <a href="https://zhub.link/tags/NLP" class="mention hashtag" rel="nofollow noopener" target="_blank">#NLP</a> <a href="https://zhub.link/tags/Large_Language_Model" class="mention hashtag" rel="nofollow noopener" target="_blank">#Large_Language_Model</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D1%82%D0%B0%D1%81%D0%B5%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#датасет</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B7%D0%BC%D0%B5%D1%82%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#размета_данных</a> <a href="https://zhub.link/tags/dataset" class="mention hashtag" rel="nofollow noopener" target="_blank">#dataset</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#данные</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B7%D0%BC%D0%B5%D1%82%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#разметка</a>

HabrПроблемы с логикой у LLM и с доверием не только у LLMПроблемы качества базы данных LLM [1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые грамотными людьми, что свидетельствует о сходстве LLM с неграмотными людьми неспособными к абстрактному мышлению . В ближайшем будущем LLM не сможет достичь уровня логического мышления грамотного человека, зато LLM обладает большими чем у человека способностями к эриксоновскому гипнозу, а значит и к мошенничеству.<a href="https://habr.com/ru/articles/830370/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/830370/</a><a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#искуственный_интеллект</a> <a href="https://zhub.link/tags/%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#большие_языковые_модели</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://zhub.link/tags/%D1%83%D0%BD%D0%B8%D0%B2%D0%B5%D1%80%D1%81%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BF%D0%BB%D0%B0%D1%82%D1%84%D0%BE%D1%80%D0%BC%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#универсальная_платформа</a> <a href="https://zhub.link/tags/%D0%B4%D0%BE%D0%B2%D0%B5%D1%80%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#доверие</a> <a href="https://zhub.link/tags/%D0%B4%D0%BE%D0%B2%D0%B5%D1%80%D0%B8%D0%B5_%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D0%B5%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#доверие_пользователей</a> <a href="https://zhub.link/tags/%D0%BC%D1%8B%D1%88%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#мышление</a> <a href="https://zhub.link/tags/%D0%BB%D0%BE%D0%B3%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#логика</a> <a href="https://zhub.link/tags/%D0%B0%D0%B1%D1%81%D1%82%D1%80%D0%B0%D0%BA%D1%82%D0%BD%D0%BE%D0%B5_%D0%BC%D1%8B%D1%88%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#абстрактное_мышление</a> <a href="https://zhub.link/tags/%D0%B4%D0%B8%D1%81%D0%BA%D1%83%D1%80%D1%81" class="mention hashtag" rel="nofollow noopener" target="_blank">#дискурс</a>

HabrГайд по ICLR 2024: тренды и лучшие докладыПривет! Меня зовут Света Маргасова, и я руковожу бригадой моделей с внешней информацией в Яндексе. В этом году в большой компании коллег впервые побывала на конференции ICLR (Learning Representations (IC LR ) — обучение представлений), которая проходила в Вене. Масштаб и формат ICLR 2024 подтверждаюет её статус — A*. Конференция продолжалась 5 дней, на неё подали больше 7000 статей, 2260 из которых приняли. Участников тоже было очень много — все старались успеть познакомиться с авторами на постер-сессиях, послушать доклады и попасть на воркшопы. В этой статье я расскажу о самом интересном по моему мнению и по отзывам коллег — над постом также работали Илья Удалов и Максим Кузин, которые занимаются ML в рекламе. Здесь же вы найдёте нашу коллективную подборку полезных статей.<a href="https://habr.com/ru/companies/yandex/articles/820105/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/yandex/articles/820105/</a><a href="https://zhub.link/tags/nlp" class="mention hashtag" rel="nofollow noopener" target="_blank">#nlp</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://zhub.link/tags/deep_learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#deep_learning</a> <a href="https://zhub.link/tags/machine_learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machine_learning</a> <a href="https://zhub.link/tags/icrl" class="mention hashtag" rel="nofollow noopener" target="_blank">#icrl</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D0%BD%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#конференции</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#нейросети</a>

HabrКак LLM учат понимать синтаксисСкорее всего, вы поняли заголовок правильно, хотя в нём есть стилистическая ошибка — двусмысленность (кто-то учит LLM, или они учат кого-то?). Человеческое понимание языка остается ориентиром и пока недостижимой целью для языковых моделей. При всей небезошибочности первого и при всех невероятных успехах последних. Например, человеку обычно не составляет труда однозначно трактовать двусмысленные фразы исходя из контекста. Более того, мы с удовольствием используем такие каламбуры в шутках разного качества. Из самого известного приходит на ум только “В Кремле голубые не только ели, но и пили” (предложите свои варианты в комментариях — будет интересно почитать). Есть ещё “казнить нельзя помиловать”, но эта двусмысленность разрешается запятой. Самый известный пример в английском: “ Time flies like an arrow; Fruit flies like a banana”. Человек скорее всего после некоторых раздумий поймёт это как “ Время летит как стрела, мухи любят банан ” (хотя мне, например, понадобилось на это несколько секунд). Яндекс переводчик понимает эту фразу так: “ Время летит как стрела, фрукты разлетаются как бананы ”. Google translator демонстрирует зоологическую эрудированность: “ Время летит как стрела; Фруктовые мушки, как банан ”, а ChatGPT предлагает “ Время летит как стрела; Мухи на фруктах летают как бананы ”. В общем, никто не справился.<a href="https://habr.com/ru/companies/ntr/articles/812107/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/ntr/articles/812107/</a><a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://zhub.link/tags/nlp" class="mention hashtag" rel="nofollow noopener" target="_blank">#nlp</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://zhub.link/tags/transformers" class="mention hashtag" rel="nofollow noopener" target="_blank">#transformers</a> <a href="https://zhub.link/tags/%D1%82%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B5%D1%80%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#трансформеры</a> <a href="https://zhub.link/tags/%D1%81%D0%B8%D0%BD%D1%82%D0%B0%D0%BA%D1%81%D0%B8%D1%81" class="mention hashtag" rel="nofollow noopener" target="_blank">#синтаксис</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#обработка_естественного_языка</a>

Paula Gordon“Work from home” and “make a difference” “helping build better AI”!<a href="https://dbaplanb.net/work-from-home-and-make-a-difference-helping-build-better-ai/" rel="nofollow noopener" target="_blank">https://dbaplanb.net/work-from-home-and-make-a-difference-helping-build-better-ai/</a>New blog post in which I compile a dozen or so recent "exciting offers" for training AI models (maps, search, queries, response, voice prompts...). <a href="https://mastodon.sdf.org/tags/AI" class="mention hashtag" rel="nofollow noopener" target="_blank">#AI</a> <a href="https://mastodon.sdf.org/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://mastodon.sdf.org/tags/WorkFromHome" class="mention hashtag" rel="nofollow noopener" target="_blank">#WorkFromHome</a> <a href="https://mastodon.sdf.org/tags/EconomicExploitation" class="mention hashtag" rel="nofollow noopener" target="_blank">#EconomicExploitation</a>

sproingWhat LLMs teach us is that the opposite of Intelligence is Confidence.But I guess we already knew that.<a href="https://mastodon.sdf.org/tags/LLM" class="mention hashtag" rel="nofollow noopener" target="_blank">#LLM</a> <a href="https://mastodon.sdf.org/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://mastodon.sdf.org/tags/LargeLanguageModel" class="mention hashtag" rel="nofollow noopener" target="_blank">#LargeLanguageModel</a> <a href="https://mastodon.sdf.org/tags/generativeAI" class="mention hashtag" rel="nofollow noopener" target="_blank">#generativeAI</a>

WetHat💦Universal and Transferable Attacks on Aligned Language ModelsThe article demonstrates that it is possible to automatically construct adversarial attacks on LLMs by appending specifically chosen character sequences to the user query.<a href="https://llm-attacks.org/" rel="nofollow noopener" translate="no" target="_blank">https://llm-attacks.org/</a><a href="https://fosstodon.org/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://fosstodon.org/tags/artificialintelligence" class="mention hashtag" rel="nofollow noopener" target="_blank">#artificialintelligence</a> <a href="https://fosstodon.org/tags/ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai</a> <a href="https://fosstodon.org/tags/machinelearning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machinelearning</a> <a href="https://fosstodon.org/tags/cybersecurity" class="mention hashtag" rel="nofollow noopener" target="_blank">#cybersecurity</a> <a href="https://fosstodon.org/tags/jailbreak" class="mention hashtag" rel="nofollow noopener" target="_blank">#jailbreak</a> <a href="https://fosstodon.org/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://fosstodon.org/tags/compsci" class="mention hashtag" rel="nofollow noopener" target="_blank">#compsci</a> <a href="https://fosstodon.org/tags/ChatGPT" class="mention hashtag" rel="nofollow noopener" target="_blank">#ChatGPT</a> <a href="https://fosstodon.org/tags/GoogleBard" class="mention hashtag" rel="nofollow noopener" target="_blank">#GoogleBard</a> <a href="https://fosstodon.org/tags/Claude" class="mention hashtag" rel="nofollow noopener" target="_blank">#Claude</a>

WetHat💦How to run 70B <a href="https://fosstodon.org/tags/LLM" class="mention hashtag" rel="nofollow noopener" target="_blank">#LLM</a> Inference on a Single 4GB GPU Key techniques for extreme memory optimization of large models by Gavin Li | AI Advances <a href="https://ai.gopubby.com/unbelievable-run-70b-llm-inference-on-a-single-4gb-gpu-with-this-new-technique-93e2057c7eeb" rel="nofollow noopener" translate="no" target="_blank">https://ai.gopubby.com/unbelievable-run-70b-llm-inference-on-a-single-4gb-gpu-with-this-new-technique-93e2057c7eeb</a><a href="https://fosstodon.org/tags/artificialintelligence" class="mention hashtag" rel="nofollow noopener" target="_blank">#artificialintelligence</a> <a href="https://fosstodon.org/tags/machinelearning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machinelearning</a> <a href="https://fosstodon.org/tags/deepLearning" class="mention hashtag" rel="nofollow noopener" target="_blank">#deepLearning</a> <a href="https://fosstodon.org/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a> <a href="https://fosstodon.org/tags/Inference" class="mention hashtag" rel="nofollow noopener" target="_blank">#Inference</a>

Habr[Перевод] Дилемма ИИ: когда обучение больших языковых моделей заходит в тупикИИ готовится заменить сотни тысяч должностей не только в разработке ПО, но и во множестве других областей: в журналистике, творческой работе, общении с покупателями и так далее. Это та же самая мантра, которую мы слышим по поводу каждой технологической инновации: « Компьютер полностью заменит людей ». Старая история из фильмов про терминаторов. Хотя я уже перечислил некоторые возможные последствия для ПО в своей статье «Мы снова в кризисе ПО, но в ближайшее время ИИ никого не заменит» , мне бы хотелось рассмотреть, что произойдёт, если большие языковые модели (Large Language Model, LLM ) полностью заменят человеческий труд. Содержание дилеммы будет практически одинаковым для всех областей, но я сосредоточусь на разработке ПО, потому что самые громкие заявления об LLM звучат как раз в её сторону.<a href="https://habr.com/ru/articles/799517/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/799517/</a><a href="https://zhub.link/tags/%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#большие_языковые_модели</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="nofollow noopener" target="_blank">#llm</a> <a href="https://zhub.link/tags/%D1%87%D0%B0%D1%82%D0%B1%D0%BE%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#чатботы</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="nofollow noopener" target="_blank">#large_language_model</a>

Recent searches

Search options

Administered by:

Server stats:

#large_language_model