mstdn.social is one of the many independent Mastodon servers you can use to participate in the fediverse.
A general-purpose Mastodon server with a 500 character limit. All languages are welcome.

Administered by:

Server stats:

9.3K
active users

#natural_language_processing

0 posts0 participants0 posts today

Веб-агенты, которые действительно понимают веб-сайты: как слой восприятия Notte решает проблему DOM

Фундаментальная проблема веб-агентов заключается не в автоматизации — а в восприятии. Как позволить LLM навигировать и действовать на веб-сайтах, погребённых в слоях HTML?

habr.com/ru/articles/926432/

ХабрВеб-агенты, которые действительно понимают веб-сайты: как слой восприятия Notte решает проблему DOMФундаментальная проблема веб-агентов заключается не в автоматизации — а в восприятии. Как позволить LLM навигировать и действовать на веб-сайтах, погребённых в слоях HTML? Техническая проблема:...

Малоиспользуемые возможности ES: векторный поиск

Всем привет! Хочу поделиться опытом применения одной из редко используемых, но полезных функций Elasticsearch, которую успешно применили в одном из проектов. Речь пойдет о векторном поиске...

habr.com/ru/articles/922544/

ХабрМалоиспользуемые возможности ES: векторный поискПривет, меня зовут Евгений Думчев, я разработчик в DD Planet. Сегодня хочу поделиться опытом применения одной из редко используемых, но полезных функций Elasticsearch, которую мы успешно применили в...

Что такое NER, зачем он нужен и когда не поможет

Про NER написано немало, но этот материал носит прикладной характер. Статья будет полезна тем, кто интересуется NLP и ищет разные подходы для решения узкопрофильных задач, требующих извлечения сущностей из текста. Для джунов это возможность пройти весь путь — от разметки данных до обучения собственной кастомной NER-модели, попутно понять типичные сложности и ограничения. Привет, меня зовут Александр Агеев, на протяжении года я занимался NER-моделями для определения сущностей на этикетках продуктов питания. Несмотря на мою любовь к NER, у этой технологии есть свои границы — кейсы, которые она не может решить хорошо, поэтому надо подключать другие инструменты. В статье я дам критерии применимости NER для решения практических задач.

habr.com/ru/articles/921698/

ХабрЧто такое NER, зачем он нужен и когда не поможетПро NER написано немало, но этот материал носит прикладной характер. Статья будет полезна тем, кто интересуется NLP и ищет разные подходы для решения узкопрофильных задач, требующих извлечения...

Telegram AI Companion: веселый проект на Rust, Telegram и локальном ИИ

Привет, Хабр! 👋 Недавно я собрал небольшой, но бодрый pet-проект — Telegram AI Companion . Это Telegram-бот, который умеет болтать с вами, используя локальную языковую модель через LocalAI . Без OpenAI, без облаков — всё на своём железе. Цель проекта — не революция в AI, а именно учебное и увлекательное погружение в Rust , асинхронность, Telegram API и локальные LLM-модели. Такой себе “бот-компаньон”, но больше для разработчика, чем пользователя :) Если вам интересно:

habr.com/ru/articles/920482/

ХабрTelegram AI Companion: веселый проект на Rust, Telegram и локальном ИИПривет, Хабр! 👋 Недавно я собрал небольшой, но бодрый pet-проект — Telegram AI Companion . Это Telegram-бот, который умеет болтать с вами, используя локальную языковую модель через LocalAI . Без...

Поддержка RUTUBE 2.0: как мы научили бота не ломаться на сложных вопросах

Как у нас в RUTUBE ИИ и служба клиентского сервиса работают сообща, вместе справляются ростом сервиса и мгновенно адаптируются к изменениям — рассказываем в этой статье. Делимся рецептом RAG-системы, которая за первые три месяца эксплуатации уже отвечает почти на 70% запросов пользователей и никогда не врёт про «космических зайцев».

habr.com/ru/companies/habr_rut

ХабрПоддержка RUTUBE 2.0: как мы научили бота не ломаться на сложных вопросахКак у нас в RUTUBE ИИ и служба клиентского сервиса работают сообща, вместе справляются с ростом сервиса и мгновенно адаптируются к изменениям — рассказываем в этой статье. Делимся рецептом...
#rag#ml#ai

Как мы учили Алису видеть мир с помощью мультимодальной нейросети Яндекса

Недавно пользователям приложения «Алиса» стал доступен Live-режим, который работает на базе мультимодальной нейросети (VLM), созданной в Яндексе. В этом режиме Алиса распознаёт объекты, показанные ей через камеру смартфона, и рассказывает о них пользователю. А ещё раньше наша VLM стала применяться в Поиске по картинкам, Умной камере и Нейроэксперте. Всё это время технология не стояла на месте и продолжала совершенствоваться. Пожалуй, пришло время поделиться опытом. На связи Роман Исаченко из команды компьютерного зрения в Яндексе. Сегодня я расскажу, какой путь наша VLM прошла за полгода. А Дарья @dara-orange Виноградова, которая работает со мной в той же команде, поделится описанием пайплайна зрения в Алисе. Мы опишем весь путь формирования новой модели: от архитектуры и сбора данных до финальных замеров качества и скорости.

habr.com/ru/companies/yandex/a

ХабрКак мы учили Алису видеть мир с помощью мультимодальной нейросети ЯндексаНедавно пользователям приложения «Алиса» стал доступен Live-режим, который работает на базе мультимодальной нейросети (VLM), созданной в Яндексе. В этом режиме Алиса распознаёт объекты, показанные ей...

Накорми языковую модель документами

Одна из актуальных задач для компаний в сфере ИИ - это поиск и генерация ответов по внутренней документации. На первый взгляд кажется, что решение простое: скормить документы большой языковой модели (LLM) и получать ответы. На практике же технические решения оказываются далеко не такими эффективными и качественными, как хотелось бы. Сейчас для работы с локальными документами доступны два основных подхода - RAG (Retrieval-Augmented Generation) и дообучение модели (fine-tuning). Оба подхода имеют свои преимущества и ограничения. В статье рассмотрим их как с теоретической, так и с практической точки зрения.

habr.com/ru/articles/898938/

ХабрНакорми языковую модель документамиЗадача поиска ответов по внутренней документации Одна из актуальных задач для компаний в сфере ИИ - это поиск и генерация ответов по внутренней документации. На первый взгляд кажется, что решение...

Помощник читателя: визуализируем сюжет

Пишем AI-помощника для анализа художественных произведений. С помощью языковой модели для анализа текста и небольшой обвязки для визуализации полученного структурированного ответа генерируем: - граф связей между героями; - хронологию событий; - карту мест действия.

habr.com/ru/articles/900870/

ХабрПомощник читателя: визуализируем сюжетВ текущих кодогенеративных реалиях создать что-то новое с нуля до уровня худо-бедной демонстрации стало предательски просто. Только успевай доходчиво формулировать свои хотелки, да вовремя давать по...

RAG: борьба с низким качеством ответов в условия экономии памяти на GPU

Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы начинаем серию статей, в которой я расскажу о том, как мы с командой разрабатывали ИИ-помощника, а также приведу практические кейсы по улучшению точности ответов с минимальными затратами памяти графических процессоров. Как вы уже могли догадаться, наш ИИ-помощник разработан на основе RAG (Retrieval-Augmented Generation) системы. Хотя принцип работы RAG многим уже знаком и не вызывает того самого «вау», я всё же кратко напомню, как эта система работает, почему она так популярна и почему её ответам можно доверять. В этой статье я расскажу, как мы разрабатывали RAG-систему для юридического отдела нашей компании, с какими вызовами столкнулись и как их преодолевали. Вы узнаете, почему стандартные подходы не всегда работают, и как, погрузившись в специфику данных, мы смогли значительно улучшить качество ответов, сохранив при этом экономию ресурсов GPU.

habr.com/ru/companies/pgk/arti

ХабрRAG: борьба с низким качеством ответов в условия экономии памяти на GPUПривет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы начинаем серию статей, в которой я расскажу о том, как мы с командой...

[Перевод] Применение методов обработки естественного языка и больших языковых моделей в области открытия новых материалов

Стремительное развитие технологий искусственного интеллекта (ИИ) произвело радикальный переворот в науке о материалах, открыв новые пути решения ключевых проблем. Используя тщательно описанные наборы данных, извлеченные из научной литературы, инструменты на базе ИИ, включая методы обработки естественного языка (NLP), позволяют ускорить исследования в области материалов. Совершенствование NLP-подходов и появление больших языковых моделей (LLMs) способствуют более эффективному извлечению и использованию информации. В настоящем обзоре рассматриваются возможности применения инструментов NLP в науке о материалах, с особым вниманием к автоматическому извлечению данных, поиску новых материалов и автономным исследованиям. Также обсуждаются вызовы и перспективы, связанные с использованием LLMs, и очерчиваются будущие достижения, способные вывести отрасль на новый уровень. Дисклеймер : это вольный перевод научной статьи из журнала Nature

habr.com/ru/articles/893896/

ХабрПрименение методов обработки естественного языка и больших языковых моделей в области открытия новых материаловАбстракт Стремительное развитие технологий искусственного интеллекта (ИИ) произвело радикальный переворот в науке о материалах, открыв новые пути решения ключевых проблем. Используя тщательно...

Разметка данных с использованием LLM

Всем привет! Меня зовут Артем Ерохин. Я работаю в X5 Tech в направлении продуктивизации ИИ. В прошлом году у меня был доклад про разметку данных с LLM . И я решил преобразовать этот доклад в статью, попутно обновив некоторые цифры и тезисы (такова уж скорость прогресса в этой области).

habr.com/ru/companies/X5Tech/a

#LLM #искусственный_интеллект #машинное+обучение #ии #разметка_данных #machine_learning #синтетические_данные #natural_language_processing

ХабрРазметка данных с использованием LLMВсем привет! Меня зовут Артем Ерохин. Я работаю в X5 Tech в направлении продуктивизации ИИ. В прошлом году у меня был доклад про разметку данных с LLM . И я решил преобразовать этот доклад в статью,...

Сэм Альтман знает, как достичь AGI. Я тоже, и сейчас расскажу как

«Теперь мы уверены, что знаем, как построить AGI в том виде, в каком мы традиционно его понимали… Сейчас это звучит как научная фантастика, и даже говорить об этом как-то безумно. Все в порядке — мы уже были там раньше и не против оказаться там снова.» Такое сообщение 6 января опубликовал Сэм Альтман. Человечество нашло дорогу, по которой можно дальше и дальше улучшать качество моделей, и мы не видим здесь никакого предела. Про эту дорогу знает Альтман, и скоро узнаете вы. Поехали в AGI

habr.com/ru/articles/873110/

ХабрСэм Альтман знает, как достичь AGI. Я тоже, и сейчас расскажу как«Теперь мы уверены, что знаем, как построить AGI в том виде, в каком мы традиционно его понимали… Сейчас это звучит как научная фантастика, и даже говорить об этом как-то безумно. Все в порядке — мы...

Задача Emotional FusionBrain 4.0: итоги и победители

Всем привет! На связи снова лаборатория FusionBrain! В сентябре мы анонсировали задачу Emotional FusionBrain 4.0, которая стало частью соревнования AI Journey Contest. Участникам предстояло разработать универсальную мультимодальную модель, которая учится понимать социальные взаимодействия людей по видео — другими словами, создать эмоциональный искусственный интеллект. Теперь пришла пора подводить итоги! Но начнём мы, конечно же, с описания задачи, чтобы уважаемые читатели оказались в едином контексте :)

habr.com/ru/companies/airi/art

ХабрЗадача Emotional FusionBrain 4.0: итоги и победителиВсем привет! На связи снова лаборатория FusionBrain! В сентябре мы анонсировали задачу Emotional FusionBrain 4.0, которая стала частью соревнования AI Journey Contest. Участникам предстояло...

NLP: когда машины начинают понимать нас (Часть 3)

В этой статье мы продолжим изучение NLP и перейдем к более продвинутым темам, которые являются главными для построения современных приложений и моделей в области обработки естественного языка. А также создадим и обучим модели самостоятельно, используя TensorFlow/Keras и PyTorch.

habr.com/ru/articles/864912/

ХабрNLP: когда машины начинают понимать нас (Часть 3)1. Введение В предыдущих статьях мы рассмотрели теоретические основы NLP, включая базовые понятия, такие как токенизация, стемминг, лемматизация и другие. Мы также поработали с библиотеками NLTK...

NLP: когда машины начинают понимать нас (Часть 2)

В прошлой статье мы с вами изучили теоретические основы обработки естественного языка (NLP) и теперь готовы перейти к практике. В мире NLP выбор подходящего языка программирования и инструментов играет ключевую роль в успешной реализации проектов. Одним из наиболее популярных языков для решения задач в этой области является Python. Его простота, читаемость и поддержка мощных библиотек делают его идеальным выбором для разработчиков.

habr.com/ru/articles/864778/

ХабрNLP: когда машины начинают понимать нас (Часть 2)1. Введение В прошлой статье мы с вами изучили теоретические основы обработки естественного языка (NLP) и теперь готовы перейти к практике. В мире NLP выбор подходящего языка...

NLP: когда машины начинают понимать нас (Часть 1)

Представьте, что вы можете разговаривать с компьютером так же естественно, как с обычным человеком. Вы задаёте вопросы, получаете ответы, даёте команды - и это всё на вашем родном языке. Именно этим и занимается обработка естественного языка ( Natural Language Proccessing , или NLP) - область искусственного интеллекта, которая фокусируется на взаимодействии между компьютерами и людьми с помощью естественного языка. Цель NLP - научить компьютеры понимать, интерпретировать и генерировать человеческую речь и текст так же, как это делаем мы. Это включает в себя не только распознавание слов, но и понимание их смысла, контекста и эмоций.

habr.com/ru/articles/864656/

ХабрNLP: когда машины начинают понимать нас (Часть 1)Введение в NLP Представьте, что вы можете разговаривать с компьютером так же естественно, как с обычным человеком. Вы задаёте вопросы, получаете ответы, даёте команды - и это всё на вашем родном...

Chronos от Amazon: революция в обработке временных рядов. Часть 2

Итак, друзья, продолжаем тему прогнозирования временных рядов с помощью Chronos. Напомню, что Chronos это фреймворк от компании Amazon — простой, но эффективный фрэймворк для предобученных вероятностных моделей временных рядов. Chronos токенизирует значения временных рядов с помощью масштабирования и квантования в фиксированный словарь и обучает существующие архитектуры языковых моделей на основе трансформеров на этих токенизированных временных рядах с использованием функции потерь кроссэнтропии. Chronos был предобучен на основе семейства T5 (размеры от 20M до 710M параметров) на большом количестве общедоступных наборов данных, дополненных синтетическим набором данных, который сгенерировали с помощью гауссовских процессов для улучшения обобщения. В этой статье я не буду подробно рассказывать как устроен Chronos и на чем он предобучен. Вся эта информация подробно изложена в моей предыдущей статье ( Часть 1 ). Здесь мы попробуем применить его на общедоступных данных на примере прогнозирования котировок акций компаний из индекса Dow Jones (общедоступный датасет на Kaggle), а также на данных одного крупного российского перевозчика. По биржевым данным цель была проста, посмотреть, как новый инструмент справляется с задачей предсказания цены акции. А на данных с железной дороги в качестве цели исследования выбрали построение прогнозов по количеству отступлений, называемых просадка пути. Многие из вас ездили поездом, и вот когда качает, это зачастую и есть просадки. Отступление довольно часто и быстро возникающее, влияет на безопасность движения, плавность хода и скорость. И предприятиям, обслуживающим путь, полезно оценивать при планировании, сколько таких отступлений предстоит устранять в следующем месяце. Данные брали посуточные, для десяти случайно выбранных предприятий. Временной период в 4 года, из них 1 месяц для тестирования. Посуточные показатели суммировали до месяца. В случае Dow Jones, пытаемся предсказать цену закрытия акции посуточно на 12 точек вперед.

habr.com/ru/articles/859498/

ХабрChronos от Amazon: революция в обработке временных рядов. Часть 2Итак, друзья, продолжаем тему прогнозирования временных рядов с помощью Chronos. Напомню, что Chronos это фреймворк от компании Amazon — простой, но эффективный фрэймворк для предобученных...