#семантический_поиск

HabrСемантический поиск по статьям Хабра в PostgreSQL + индексация текстов LLM в OllamaПокажу вам практическую реализацию семантического поиска на основе векторных представлений - эмбеддингов из текста. Здесь я создам систему, которая анализирует статьи с Хабра, извлекает из них темы и ключевые слова с помощью локально работающих больших языковых моделей LLM, и на основе этих данных создает векторные представления для эффективного поиска по смыслу, а не по запросу на вхождение определенного текста.<a href="https://habr.com/ru/articles/915348/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/915348/</a><a href="https://zhub.link/tags/%D1%81%D0%B5%D0%BC%D0%B0%D0%BD%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#семантический_поиск</a> <a href="https://zhub.link/tags/postgresql" class="mention hashtag" rel="nofollow noopener" target="_blank">#postgresql</a> <a href="https://zhub.link/tags/pgvector" class="mention hashtag" rel="nofollow noopener" target="_blank">#pgvector</a> <a href="https://zhub.link/tags/llm%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#llmприложения</a> <a href="https://zhub.link/tags/ollama" class="mention hashtag" rel="nofollow noopener" target="_blank">#ollama</a> <a href="https://zhub.link/tags/spring_ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#spring_ai</a> <a href="https://zhub.link/tags/java" class="mention hashtag" rel="nofollow noopener" target="_blank">#java</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#обработка_естественного_языка</a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#поисковые_системы</a>

HabrКак мы учили нейросеть разбираться в сложных документах: задача семантического поискаПривет! Меня зовут Павел Яковлев, я инженер по разработке ПО искусственного интеллекта в YADRO. В команде GenAI мы занимаемся умными продуктами на основе корпоративных баз данных. В проектах мы часто используем современные генеративные модели и энкодеры. В статье расскажу, как мы в компании разрабатываем и оптимизируем семантический поиск по сложным документам: PDF, HTML и DOCX.<a href="https://habr.com/ru/companies/yadro/articles/893050/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/yadro/articles/893050/</a><a href="https://zhub.link/tags/search" class="mention hashtag" rel="nofollow noopener" target="_blank">#search</a> <a href="https://zhub.link/tags/%D1%81%D0%B5%D0%BC%D0%B0%D0%BD%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#семантический_поиск</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#нейросети</a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#информационный_поиск</a> <a href="https://zhub.link/tags/%D1%8D%D0%BC%D0%B1%D0%B5%D0%B4%D0%B4%D0%B8%D0%BD%D0%B3%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#эмбеддинги</a> <a href="https://zhub.link/tags/crossencoder" class="mention hashtag" rel="nofollow noopener" target="_blank">#crossencoder</a> <a href="https://zhub.link/tags/biencoder" class="mention hashtag" rel="nofollow noopener" target="_blank">#biencoder</a> <a href="https://zhub.link/tags/%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#генеративные_модели</a> <a href="https://zhub.link/tags/%D1%8D%D0%BD%D0%BA%D0%BE%D0%B4%D0%B5%D1%80%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#энкодеры</a>

Habr[Перевод] Postgres как поисковый движокПоиск — это сложно. Важная часть многих приложений, которую нелегко реализовать правильно. Особенно в случае с RAG-пайплайнами, где на качество поиска завязан весь процесс. Хотя семантический поиск в моде, старый добрый лексический поиск по-прежнему остается базой. Семантические методы могут улучшить результаты, но эффективнее всего они работают, когда добавляются к прочному фундаменту текстового поиска. Эрик Закариассон, разработчик и автор блога Anyblockers, рассмотрел в своей статье, как использовать Postgres для создания надёжной поисковой системы. В рамках задачи автор объединил три техники: 1. Полнотекстовый поиск с tsvector 2. Семантический поиск с pgvector 3. Нечёткое сопоставление с pg_trgm 4. Бонус: BM25 Возможно, это не оптимальный подход для любой ситуации, но отличная альтернатива созданию отдельного поискового сервиса; отправная точка, которую можно реализовать и масштабировать в рамках существующей базы данных Postgres.<a href="https://habr.com/ru/companies/sravni/articles/888534/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/sravni/articles/888534/</a><a href="https://zhub.link/tags/postgresql" class="mention hashtag" rel="nofollow noopener" target="_blank">#postgresql</a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D1%8B%D0%B9_%D0%B4%D0%B2%D0%B8%D0%B6%D0%BE%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#поисковый_движок</a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D0%BB%D0%BD%D0%BE%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2%D1%8B%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#полнотекстовый</a> <a href="https://zhub.link/tags/%D1%81%D0%B5%D0%BC%D0%B0%D0%BD%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#семантический_поиск</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D1%87%D0%B5%D1%82%D0%BA%D0%B8%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#нечеткий_поиск</a>

HabrМиллиарды векторов и немного магии: превращаем сырые данные с маркетплейсов в пригодные для анализаПривет, Хабр! Я — Игорь Старун, BigData Lead в MPSTATS. Я уже 3 года занимаюсь анализом данных на маркетплейсах, штудируя гигантские объёмы информации и превращая их из непотребного и нечитаемого вида в удобоваримый и анализируемый. Моя задача — собрать и подготовить данные так, чтобы помочь продавцам на маркетплейсах разобраться, что происходит с их товарами, конкурентами и продажами, чтобы они не утонули в хаосе карточек, цен и остатков. В этой статье я расскажу, как мы перерабатываем эти объемы грязных данных и структурируем для дальнейшего анализа. Данные о товарах – это основа всего. Каждую неделю мы обходим более 200 миллионов карточек с Wildberries и Ozon. Названия, описания, характеристики, фотографии — всё это мы аккуратно собираем и складываем в базы данных (для разных задач мы используем ClickHouse, Postgres, MySQL и MongoDB) и облачные хранилища. Зачем? Чтобы потом сделать с этим что-то умное и полезное. Читать дальше<a href="https://habr.com/ru/companies/mpstats/articles/884344/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/mpstats/articles/884344/</a><a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитика</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%80%D0%BA%D0%B5%D1%82%D0%BF%D0%BB%D0%B5%D0%B9%D1%81%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#маркетплейсы</a> <a href="https://zhub.link/tags/%D1%8D%D0%BC%D0%B1%D0%B5%D0%B4%D0%B4%D0%B8%D0%BD%D0%B3%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#эмбеддинги</a> <a href="https://zhub.link/tags/faiss" class="mention hashtag" rel="nofollow noopener" target="_blank">#faiss</a> <a href="https://zhub.link/tags/%D1%81%D0%B5%D0%BC%D0%B0%D0%BD%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#семантический_поиск</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#обработка_изображений</a> <a href="https://zhub.link/tags/seo%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#seoоптимизация</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="nofollow noopener" target="_blank">#big_data</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#нейросети</a>

HabrБаза данных сниппетов со смысловым поиском: что «под капотом»Хочу поддержать жанр статей «что под капотом» и рассказать подробности реализации проекта code‑magic.com — базы данных сниппетов со смысловым поиском. Под капот...<a href="https://habr.com/ru/articles/881282/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/881282/</a><a href="https://zhub.link/tags/%D1%81%D0%BD%D0%B8%D0%BF%D0%BF%D0%B5%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#сниппеты</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#базы_данных</a> <a href="https://zhub.link/tags/%D1%81%D0%B5%D0%BC%D0%B0%D0%BD%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#семантический_поиск</a> <a href="https://zhub.link/tags/%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#языковые_модели</a> <a href="https://zhub.link/tags/headless_cms" class="mention hashtag" rel="nofollow noopener" target="_blank">#headless_cms</a> <a href="https://zhub.link/tags/opensearch" class="mention hashtag" rel="nofollow noopener" target="_blank">#opensearch</a> <a href="https://zhub.link/tags/bash" class="mention hashtag" rel="nofollow noopener" target="_blank">#bash</a> <a href="https://zhub.link/tags/support" class="mention hashtag" rel="nofollow noopener" target="_blank">#support</a> <a href="https://zhub.link/tags/administration" class="mention hashtag" rel="nofollow noopener" target="_blank">#administration</a> <a href="https://zhub.link/tags/cheatsheets" class="mention hashtag" rel="nofollow noopener" target="_blank">#cheatsheets</a>

HabrСемантический поиск (homemade)Основой семантического поиска может являться ML задача Sentence Similarity , а если быть еще конкретнее, то это Semantic Textual Similarity . Модели, обученные под эту задачу, способны оценивать насколько близки предложения по своему смыслу. Всё, что нам дальше остается, так это засунуть модель в некоторую поисковую систему... Но тут давайте по порядку<a href="https://habr.com/ru/articles/834356/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/834356/</a><a href="https://zhub.link/tags/%D1%81%D0%B5%D0%BC%D0%B0%D0%BD%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#семантический_поиск</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8e" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучениe</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#обработка_естественного_языка</a> <a href="https://zhub.link/tags/nlp" class="mention hashtag" rel="nofollow noopener" target="_blank">#nlp</a> <a href="https://zhub.link/tags/bert" class="mention hashtag" rel="nofollow noopener" target="_blank">#bert</a> <a href="https://zhub.link/tags/machine_learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machine_learning</a> <a href="https://zhub.link/tags/sentence_transformer" class="mention hashtag" rel="nofollow noopener" target="_blank">#sentence_transformer</a> <a href="https://zhub.link/tags/transformers" class="mention hashtag" rel="nofollow noopener" target="_blank">#transformers</a> <a href="https://zhub.link/tags/deep_learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#deep_learning</a> <a href="https://zhub.link/tags/ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai</a>

Recent searches

Search options

Administered by:

Server stats:

#семантический_поиск