8 способов проверить, что нейросеть уверенно вам врёт
Он подделывает ссылки, выдумывает цифры и меняет мнение в зависимости от контекста беседы. Но есть 8 простых способов поймать цифрового лжеца за руку.
Что происходит? Анализируем поведение модели и разбираем причины деградации её предсказаний
Сегодня просто написать хорошую модель уже недостаточно: важно постоянно следить за её предсказаниями, так как поведение клиентов меняется со временем, и модель может терять в их качестве. Чтобы эффективно отслеживать её работу, нужна система мониторинга, которая определяет методы и частоту проверок, критерии отклонений. Построение целой системы часто пугает ML-команды объёмом работ — так модели остаются и вовсе без мониторинга. Одна из наших моделей, которая предсказывает отток клиентов, начала выдавать странные результаты. Стоит отметить, что она на тот момент уже не использовалась, поскольку была разработана новая, но старая оставалась как индикатор оттока с устаревшей методологией. Мы решили разобраться в странном поведении и понять, какие признаки нужно добавить в мониторинг, чтобы не упускать важные детали из виду.
Из боли клиентов — в новый продукт: как мы пересобрали аналитику на Clickhouse
Чем лучше разработчик, тем хуже он делает аналитику. Просто потому, что для этого требуется разный технологический стек. Системы, которые пишут разрабы, шикарно записывают и хранят данные. Но попытка прочесть большой объём данных сразу роняет всю систему, так как она плохо для этого предназначена. В этой статье я расскажу про 2 ключевых подхода к хранению и обработке данных, какой мы выбрали для аналитики в LMS-платформе и к чему это привело.
No-code-разработка и ML-помощники – инструменты аналитиков SOC нового поколения
Давайте представим, как могло бы выглядеть рабочее место SOC-аналитика будущего. В том числе рассмотрим, какие были бы полезны в реагировании и расследовании ML-помощники: некоторые из упомянутых в статье мы уже внедрили в наши продукты, а некоторые – еще в планах или могут послужить в качестве идеи для тех, кто сталкивается с подобными задачами.
https://habr.com/ru/companies/securityvison/articles/924126/
#визуальное_программирование #nocode #машинное+обучение #machine_learning #информационная_безопасность #soc #расследование_инцидентов #инцидент #аналитика_данных
ИИ-помощник редактора на Хабре: семь раз вайб-код — один раз поймешь
Привет! На связи Николай из редакции блога
[Перевод] Вычисляем коэффициент популярности крейтов Rust для работы и для хобби-проектов
Твит, который подтолкнул меня к реализации описанного в статье мини-проекта. Взявшись за эту задачу, я около двух часов ваял небольшой скрипт, который будет скрейпить данные из базы крейтов Rust crates.io и анализировать их для выяснения, какие пакеты чаще скачиваются для работы (то есть в будние дни), а какие для развлечения (то есть в выходные).
Когда 0 в продажах — аномалия? CUSUM для поиска проблем в ритейле
Всем привет! Меня зовут Костя, и в этой статье я продолжу рассказ моей коллеги Анастасии из команды доступности Magnit Tech о том, как можно искать проблемные товары на полках магазинов, опираясь лишь на данные по дневным продажам и остаткам товара в магазине. В этой статье я расскажу о другом, альтернативном алгоритме, который детектирует ощутимую долю проблемных позиций наравне с тем, о котором рассказывала моя коллега. Этот алгоритм также прост для понимания и интерпретации бизнесом. Его внедрение и эксплуатация требуют минимальных затрат: вычислительные ресурсы, сопровождение и адаптация под разные форматы магазинов обходятся недорого. Кроме того, он может служить эффективным первым шагом перед внедрением более сложных и ресурсоемких ML-алгоритмов. В отличие от нейросетевых подходов к поиску аномалий, которые требуют тщательной настройки (или даже разработки) оптимальной архитектуры сети, настроить этот алгоритм значительно проще.
Тренды 2025 года в сфере работы с данными и ИИ
Привет! Меня зовут Антон Моргунов, я академический руководитель программы онлайн-магистратуры Яндекса и МИФИ
https://habr.com/ru/companies/yandex_praktikum/articles/915322/
Кому нужна аналитика для бизнеса
Мне всегда было интересно, как управляются разные бизнесы: как работает завод, ритейл, другие сферы. Я пытался изнутри наблюдать за бизнесом, где создаётся конечная ценность. Где-то работает автократия, в других компаниях уже есть зрелая бюрократия, а где-то все договариваются на словах, но нигде это не прописано. Я видел, что даже в среднем бизнесе решения принимаются на основании чуйки хозяина. Тогда как в entreprise решения принимаются на основании процедур, отчётов. Люди страдают и ненавидят этот процесс, так как много времени уходит на оцифровку. Но при этом корпорации довольно эффективны, что показал мой дальнейший опыт. Они работают на 4-ку, но стабильно. Малый бизнес может сегодня сработать на 5, а завтра на 2. Так у меня появилось убеждение, что в своих решениях нужно опираться на данные. Большой компанией можно стать только та, где есть система принятия решений. Я ушёл из enterprise в малый бизнес и старался туда привносить то, что увидел в корпорациях. Собственники компаний принимали интуитивные решения, которые могли приводить к просадке выручки в 2 раза за несколько месяцев. Такие ситуации лишь укрепили мою убеждённость в своей правоте. В этой статье я расскажу, как и кому может помочь аналитика данных.
Аналитика продаж в розничных сетях: 6 ключевых и 16 вспомогательных показателей, а также формулы для расчета
Всем привет! На связи Андрей Рыжик, разработчик BI. В этой статье о том, какие цифры и в каких разрезах действительно полезны для розничных сетей. Например, сама по себе выручка не расскажет много о ситуации в компании. Гораздо информативнее будет для бизнеса, если мы покажем, какие товары приносят больше всего прибыли. Собрал основные показатели и рассказал на примерах, как они рассчитываются.
Приходят как-то аналитики на офисную кухню, а там дата-инженеры в нарды играют…
Один из игроков — я, Кирилл Красновид, тимлид BI-команды в Профи.ру. Наша задача — делать так, чтобы каждый быстро и удобно получал нужную информацию без лишней суеты и ожиданий. Поэтому мы стараемся все автоматизировать и оптимизировать. Сегодня расскажу, как решаем эти задачи, а ещё про собственные хранилища аналитиков и bus-фактор.
10 советов для бизнеса о том, как пользоваться BI-инструментами
BI-инструменты считаются дорогими и сложными решениями, требующими долгого внедрения, многочисленных интеграций и непременного преодоления сопротивления со стороны пользователей. Кажется, что на такое может решиться только крупная компания, которой жизненно необходимо упростить анализ данных и оптимизировать множество процессов. На самом деле необходимость в понятных аналитических решениях возникает и у средних, а иногда и небольших компаний , поэтому сейчас появляются самые разные по сложности и функциональности BI-системы. О том, как вообще понять, пора ли от эксель-таблиц переходить на BI и какие задачи можно решать с помощью таких инструментов, рассказал Директор продуктовой аналитики Битрикс24 Илья Стрелков. Зачем компаниями нужна аналитика Точные цифры — это наш контакт с реальностью. Правильное управление бизнесом основано на понятных метриках и на оценке ключевых факторов, влияющих на эффективность. Полагаться в бизнесе на субъективные ощущения невозможно, органы чувств здесь заменяют систематизированные и наглядно представленные данные о работе всей компании и ее отдельных подразделений. Аналитические системы позволяют в разы сократить обработку и подготовку данных для дальнейшего анализа. Для анализа эффективности бизнес-процессов часто приходится объединять данные из разных систем. Например, для оценки рекламной кампании придется сопоставить данные из рекламного кабинета и CRM. Для товарной аналитики — данные из ERP, CRM и складских систем. Вручную, в электронных таблицах, это действительно долго. А BI-системы умеют объединять данные из разных источников, фильтровать, сортировать, делать выборки по сложным условиям, анализировать по множеству факторов и показывать данные в динамике. В результате пользователи — руководства компании и отделов, специалисты — получают наглядный дэшборд с понятными графиками и диаграммами . Именно с той информацией, которая помогает принять нужные решения.
Внедрение программного обеспечения Экстрактор 1С в компании Level Group: результаты и перспективы
Компания обратилась к нам для решения задачи по сокращению времени получения данных и оптимизации работы команды разработки 1С. Level Group – один из ведущих застройщиков бизнес-класса в Москве. За три года компания утроила свои масштабы, достигнув оборота в 100 миллиардов рублей в 2024 году. Отличительные черты Level Group – это современные и стильные жилые комплексы, продуманные планировки квартир и оригинальные дизайнерские решения.
Предиктивная аналитика в CRM
Как известно, под словом «аналитика» прячется многое. Но какое из множества ее направлений наиболее востребовано в CRM-системах? Встроенные инструменты предиктивной аналитики в low-code платформе
Индекс доходимости студентов и не только: как отечественные BI-системы помогают образованию
На связи Анна Астахова, директор по развитию ИТ-интегратора «Белый код». Сегодня бизнесу также, как и студентам, нужны знания. На примере одного из проектов рассказываю, как работает бизнес-аналитика в образовании.
DBT: трансформация данных без боли
Привет! Меня зовут Кирилл Львов, я fullstack-разработчик в компании СберАналитика. В этой статье хочу рассказать про мощный инструмент трансформации данных — DBT (Data Build Tool). Сегодня любой средний и крупный бизнес хранит множество данных в разрозненных источниках (CRM, ERP, HRM, базы данных, файловые хранилища и т.д.). Каждая из этих систем самодостаточна и закрывает определённую боль бизнеса, но собрав данные из таких источников и стандартизировав их, нам открывается возможность анализировать данные, строить модели машинного обучения и принимать на основе этих данных управленческие решения. Для того чтобы реализовать такой подход строятся ELT (или ETL) процессы. ELT (Extract, Load, Transform) — это процесс, состоящий из трех этапов:
Vibe Coding
В разговорах стала часто всплывать тема vibe-coding, и у новичков это вызывает неоднозначные полярные мнения. Основные тейки:
Контролируем качество данных с помощью Python
В работе с данными одной из самых больших трудностей является обеспечение их качества. В процессе анализа и обработки информации приходится сталкиваться с множеством проблем, таких как отсутствие нужных значений, неправильно отформатированные данные или ошибки, появляющиеся при сборе данных с веб-ресурсов. В этой статье мы рассмотрим, как с помощью Python можно автоматизировать процесс проверки и очистки данных, используя популярные библиотеки, такие как pandas и pyspark. Мы исследуем практические подходы к подготовке данных для анализа, включая поиск аномалий, постобработку и работу с пустыми значениями, что поможет обеспечить высокое качество данных для дальнейших исследований и принятия решений.
Выбираем BI-системы: обзор архитектуры, технологий и выбора
Я часто пользуюсь в работе BI системами и всегда было интересно, что же там под капотом, насколько это сложная система. Спойлер - очень сложная! И я решил разобраться в вопросе и чуть более подробно. После подготовки этой статьи стало реальнее понятнее, откуда же все таки готовилось нападение , как работает тот же Power BI. Но вероятно, нужно будет перечитать некоторые моменты дважды. В тех местах, и понятиях, которые я сам не с первого раза понял, я добавлял дополнительное описание.
Welch's test: он вам не замена Т-test'a
Привет! С вами команда аналитиков «Пятёрочки» X5 Tech. В данной статье мы расскажем про один из классических тестов в статистике — тест Уэлча (Welch's Test). Постараемся максимально раскрыть, когда и где стоит его применять и является ли он, на самом деле, тестом по умолчанию вместо Т‑test-a.
