Mastodon 🐘

HabrКраткий обзор платформы данных Т-БанкаПривет, Хабр! Меня зовут Дима Пичугин, и уже семь лет я занимаюсь различными компонентами T Data Platform. Эта статья — результат внутреннего аудита наших инструментов, но я подумал, что она может быть интересна не только нашим аудиторам, но и более широкой аудитории. Enjoy! Платформа данных в Т-Банке существует более 18 лет и за это время прошла значительный путь эволюции. Она помогает более чем 17 тысячам пользователей извлекать из данных ценную информацию для бизнеса. За последние годы подходы к работе с данными заметно изменились: индустрия постепенно отходила от классических концепций хранилищ данных по Инмону и Кимбеллу в сторону Data Lake, а затем — Lakehouse-архитектур. Вместе с отраслью менялась и наша платформа. В статье расскажу, как трансформировалась T Data Platform за 18 лет развития, и опишу ее текущее устройство — без погружения в технические детали, но с акцентом на общую архитектуру. Для тех, кому интересны отдельные инструменты или решения, оставлю ссылки на подробные материалы и выступления.<a href="https://habr.com/ru/companies/tbank/articles/926886/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/tbank/articles/926886/</a><a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/data_platform" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_platform</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/architecture" class="mention hashtag" rel="nofollow noopener" target="_blank">#architecture</a>

HabrПроблемы БД или почему большой продакшн спасут только массовые расстрелы запросовЗа счёт правильных, даже необязательно новых, а просто верно выбранных архитектурных подходов можно заставить работать не один конкретный запрос, а тысячу или даже миллион. Это становится краеугольным камнем, потому что объёмы данных растут с такой скоростью, которую мы даже представить себе не могли ещё пять лет назад. Привет, Хабр! Именно так считает наш сегодняшний гость – Дмитрий Немчин, руководитель направления эксплуатации инфраструктуры данных в Т-банке и по совместительству член программного комитета Data Internals , профессиональной конференции по инженерии, базам и системам хранения и обработки данных. В беседе Дмитрий рассказал о своём пути в данные и программный комитет конференции, поделился интересными кейсами и проблемами, связанными с ростом объёмов данных и необходимостью управления ресурсами. А также объяснил, как дата-инженеру остаться востребованным в будущем, где ИИ может проникнуть абсолютно во все сферы жизни.<a href="https://habr.com/ru/companies/oleg-bunin/articles/915332/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/oleg-bunin/articles/915332/</a><a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%B2%D1%8C%D1%8E" class="mention hashtag" rel="nofollow noopener" target="_blank">#интервью</a> <a href="https://zhub.link/tags/greenplum" class="mention hashtag" rel="nofollow noopener" target="_blank">#greenplum</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/infrastructure" class="mention hashtag" rel="nofollow noopener" target="_blank">#infrastructure</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/data_bases" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_bases</a> <a href="https://zhub.link/tags/data_internals" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_internals</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="nofollow noopener" target="_blank">#big_data</a> <a href="https://zhub.link/tags/big_data_analytics" class="mention hashtag" rel="nofollow noopener" target="_blank">#big_data_analytics</a>

HabrКак мы храним 20000+ метрик и миллиарды комбинаций разрезов в одной таблицеПривет! Меня зовут Влад Божьев, я старший разработчик юнита АБ-тестирования Авито . Один из наших ключевых инструментов – M42, сервис для визуализации метрик. Он позволяет быстро проверять гипотезы, анализировать отклонения и оценивать инициативы. В этой статье мы с вами погружаемся в самое сердце M42 и разбираем, как же там хранятся отчеты по метрикам. Это не просто рассказ, это почти детективная история о том, как мы искали оптимальное решение. В нашем семантическом слое данных больше 20 000 метрик, и есть десятки разрезов для каждой из них. Под катом рассказываю, как мы храним терабайты данных и автоматизируем добавление новых разрезов в отчёт M42.<a href="https://habr.com/ru/companies/avito/articles/913694/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/avito/articles/913694/</a><a href="https://zhub.link/tags/M42" class="mention hashtag" rel="nofollow noopener" target="_blank">#M42</a> <a href="https://zhub.link/tags/bigdata" class="mention hashtag" rel="nofollow noopener" target="_blank">#bigdata</a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#clickhouse</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/data_structures" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_structures</a> <a href="https://zhub.link/tags/storage" class="mention hashtag" rel="nofollow noopener" target="_blank">#storage</a> <a href="https://zhub.link/tags/adhoc%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7" class="mention hashtag" rel="nofollow noopener" target="_blank">#adhocанализ</a> <a href="https://zhub.link/tags/adhoc" class="mention hashtag" rel="nofollow noopener" target="_blank">#adhoc</a>

HabrКак пройти собеседование: опыт аналитика Яндекс ЛавкиПривет, Хабр! Меня зовут Рафаэль Сайфутдинов, но обычно меня зовут просто Раф. Я работаю аналитиком ценообразования в Яндекс Лавке, выпускаюсь из НИУ ВШЭ и уже успел пройти курс<a href="https://habr.com/ru/companies/yandex_praktikum/articles/902750/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/yandex_praktikum/articles/902750/</a><a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитика</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитик_данных</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#анализ_данных</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a>

HabrFull-stack в аналитике: почему это будущее Data Science?Привет. Представьте: вы запилили нейросеть, которая определяет котиков на фото с точностью 99.9% (оставшиеся 0.1% — это когда хомяк притворяется котом). Воодушевлённый результатом, бежите к руководству — а там оказывается, что:<a href="https://habr.com/ru/articles/904376/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/904376/</a><a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/%D0%B1%D0%B5%D0%BA%D0%B5%D0%BD%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#бекенд</a> <a href="https://zhub.link/tags/%D1%84%D1%80%D0%BE%D0%BD%D1%82%D0%B5%D0%BD%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#фронтенд</a> <a href="https://zhub.link/tags/ml" class="mention hashtag" rel="nofollow noopener" target="_blank">#ml</a> <a href="https://zhub.link/tags/javascript" class="mention hashtag" rel="nofollow noopener" target="_blank">#javascript</a>

HabrКонтролируем качество данных с помощью PythonВ работе с данными одной из самых больших трудностей является обеспечение их качества. В процессе анализа и обработки информации приходится сталкиваться с множеством проблем, таких как отсутствие нужных значений, неправильно отформатированные данные или ошибки, появляющиеся при сборе данных с веб-ресурсов. В этой статье мы рассмотрим, как с помощью Python можно автоматизировать процесс проверки и очистки данных, используя популярные библиотеки, такие как pandas и pyspark. Мы исследуем практические подходы к подготовке данных для анализа, включая поиск аномалий, постобработку и работу с пустыми значениями, что поможет обеспечить высокое качество данных для дальнейших исследований и принятия решений.<a href="https://habr.com/ru/companies/otus/articles/903634/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/otus/articles/903634/</a><a href="https://zhub.link/tags/qa" class="mention hashtag" rel="nofollow noopener" target="_blank">#qa</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/%D0%BA%D0%B0%D1%87%D0%B5%D1%81%D1%82%D0%B2%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#качество_данных</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитика_данных</a> <a href="https://zhub.link/tags/Python_%D0%B4%D0%BB%D1%8F_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#Python_для_анализа_данных</a> <a href="https://zhub.link/tags/pandas" class="mention hashtag" rel="nofollow noopener" target="_blank">#pandas</a> <a href="https://zhub.link/tags/Pyspark" class="mention hashtag" rel="nofollow noopener" target="_blank">#Pyspark</a> <a href="https://zhub.link/tags/%D0%9E%D1%87%D0%B8%D1%81%D1%82%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#Очистка_данных</a> <a href="https://zhub.link/tags/%D0%90%D0%BD%D0%BE%D0%BC%D0%B0%D0%BB%D0%B8%D0%B8_%D0%B2_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#Аномалии_в_данных</a>

HabrКак создать инструмент для DQ только на Python и Airflow?Всем привет! Меня зовут Павел, я главный аналитик данных управления подготовки данных Банка. В этой статье я расскажу, как мы создали самописный инструмент и библиотеку для проверок качества данных, используя только Python и Airflow, и какую пользу это принесло команде.<a href="https://habr.com/ru/companies/gazprombank/articles/896814/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/gazprombank/articles/896814/</a><a href="https://zhub.link/tags/dq" class="mention hashtag" rel="nofollow noopener" target="_blank">#dq</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#airflow</a> <a href="https://zhub.link/tags/superset" class="mention hashtag" rel="nofollow noopener" target="_blank">#superset</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/data_quality" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_quality</a>

HabrВеликий и могучий: как мы учим нашу систему находить нецензурную лексику в ФИОПривет, Хабр! Меня зовут Макс Траулько, я занимаюсь анализом данных и проработкой новый фичей в команде RnD в HFLabs. Прямо сейчас я работаю над нетривиальной задачей — учу наши алгоритмы распознавать в именах и фамилиях русский мат и прочие ругательства. Как появилась эта задача? В одной крупной компании клиенты могут оставить обращения во фронт-системе. И иногда пишут в полях ФИО, прямо скажем, черт знает что. А у бизнеса риски: если при ответе на обращение автоматически использовать данные из поля «Имя», можно стать героем насмешливых или гневных постов. Чуть раньше с такой же проблемой к нам пришел другой клиент, из ретейла. У того клиенты вообще большие выдумщики — придумывают составные и сложные имена и фамилии с обсценной лексикой. Даже жаль, что показать эти примеры не можем. В статье расскажу, как мы решаем эту задачу.<a href="https://habr.com/ru/companies/hflabs/articles/896436/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/hflabs/articles/896436/</a><a href="https://zhub.link/tags/%D0%BA%D0%B0%D1%87%D0%B5%D1%81%D1%82%D0%B2%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#качество_данных</a> <a href="https://zhub.link/tags/%D1%81%D1%82%D0%B0%D0%BD%D0%B4%D0%B0%D1%80%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#стандартизация</a> <a href="https://zhub.link/tags/%D1%80%D1%83%D0%B3%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D1%81%D1%82%D0%B2%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#ругательства</a> <a href="https://zhub.link/tags/%D0%BF%D0%B5%D1%80%D1%81%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#персональные_данные</a> <a href="https://zhub.link/tags/mdm" class="mention hashtag" rel="nofollow noopener" target="_blank">#mdm</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/data_governance" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_governance</a> <a href="https://zhub.link/tags/%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#алгоритмы</a>

HabrБайесовская собака: анализ пёсьего компасаОриентируются ли собаки по компасу, когда делают свои грязные дела? Оказывается — да! Если вам интересно, как можно это подтвердить в домашних условиях, используя компас, Байесовскую статистику и собаку (собака не включена), то добро пожаловать под кат.<a href="https://habr.com/ru/articles/895332/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/895332/</a><a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/bayesian" class="mention hashtag" rel="nofollow noopener" target="_blank">#bayesian</a> <a href="https://zhub.link/tags/tutorial" class="mention hashtag" rel="nofollow noopener" target="_blank">#tutorial</a> <a href="https://zhub.link/tags/dog" class="mention hashtag" rel="nofollow noopener" target="_blank">#dog</a> <a href="https://zhub.link/tags/pymc3" class="mention hashtag" rel="nofollow noopener" target="_blank">#pymc3</a>

HabrПовышение эффективности аналитических баз данных: кейс «Комус» и ArenadataХабр, привет! Современные высоконагруженные системы требуют точной настройки и регулярного мониторинга, чтобы обеспечить стабильную производительность в условиях постоянно растущих объёмов данных. Когда речь идёт о крупной аналитической базе данных, развёрнутой в облачной среде, оптимизация её работы становится критически важной задачей. В прошлой статье мы уже рассказывали о типичных ошибках при работе с Arenadata DB (ADB), о том, как их избежать и значительно повысить производительность кластера. Сегодня же поделимся реальным опытом на примере компании «Комус» — лидера в области B2B-ритейла, которая обратилась к Arenadata за проведением комплексного аудита своего кластера ADB. В этой статье мы детально разобрали, как с помощью анализа и оптимизации удалось выявить точки роста, подготовить кластер к текущим и будущим нагрузкам и предложить план улучшений. Мы рассмотрим технические детали аудита, проблемы, с которыми пришлось столкнуться, и эффективные практики, позволившие повысить производительность аналитической базы данных. Что там с нагрузкой на кластер?<a href="https://habr.com/ru/companies/arenadata/articles/887792/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/arenadata/articles/887792/</a><a href="https://zhub.link/tags/arenadata_db" class="mention hashtag" rel="nofollow noopener" target="_blank">#arenadata_db</a> <a href="https://zhub.link/tags/%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#оптимизация_базы_данных</a> <a href="https://zhub.link/tags/etl" class="mention hashtag" rel="nofollow noopener" target="_blank">#etl</a> <a href="https://zhub.link/tags/%D0%B2%D1%8B%D1%81%D0%BE%D0%BA%D0%BE%D0%BD%D0%B0%D0%B3%D1%80%D1%83%D0%B6%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#высоконагруженные_системы</a> <a href="https://zhub.link/tags/highload" class="mention hashtag" rel="nofollow noopener" target="_blank">#highload</a> <a href="https://zhub.link/tags/%D0%BF%D0%B0%D1%80%D1%82%D0%B8%D1%86%D0%B8%D0%BE%D0%BD%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#партиционирование</a> <a href="https://zhub.link/tags/%D0%B0%D1%83%D0%B4%D0%B8%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#аудит</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#базы_данных</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитические_базы_данных</a>

HabrLogit Lens & ViT model: туториалПривет, Хабр! В этом туториале разобран метод для анализа внутренних представлений "логит-линза" (Logit Lens). В результате практики по туториалу, вы: 1. Изучите подход и концепцию Logit Lens; 2. Реализуете Logit Lens для Visual Transformer; 3. Познакомитесь с анализом результатов применения логит-линзы. Как всегда, весь код будет на гитхаб — step by step. Welcome!<a href="https://habr.com/ru/articles/891352/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/891352/</a><a href="https://zhub.link/tags/explainable_ai" class="mention hashtag" rel="nofollow noopener" target="_blank">#explainable_ai</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/transformers" class="mention hashtag" rel="nofollow noopener" target="_blank">#transformers</a>

HabrНеизвестный библейский алгоритм кластеризацииВремена, когда горящий куст мог принести озарение, давно прошли. Примитивный опыт уже не может стать источником открытий. А всё потому, что он обобщён и впитан в культуру человечества. И чтобы подключиться к мудрости предков нужно опереться на философию. В этой статье мы познакомимся с новым алгоритмом кластеризации и поверхностно затронем некоторые философские категории. Перевернём объективность в субъектность и обратно.<a href="https://habr.com/ru/articles/890050/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/890050/</a><a href="https://zhub.link/tags/%D0%BA%D0%BB%D0%B0%D1%81%D1%82%D0%B5%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#кластеризация</a> <a href="https://zhub.link/tags/%D1%84%D0%B8%D0%BB%D0%BE%D1%81%D0%BE%D1%84%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#философия</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a>

HabrPython для начинающих дата-аналитиков: как настроить виртуальное окружение?Привет! Меня зовут Женя и я работаю аналитиком данных. В этой статье я бы хотел рассказать начинающим аналитикам о том, как правильно настроить окружение для работы с Python. Когда я только начинал заниматься анализом данных, концепция питоновского виртуального окружения вводила меня в ступор, и здесь я постараюсь показать, что в ней нет ничего сложного.<a href="https://habr.com/ru/articles/889670/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/889670/</a><a href="https://zhub.link/tags/venv" class="mention hashtag" rel="nofollow noopener" target="_blank">#venv</a> <a href="https://zhub.link/tags/pip" class="mention hashtag" rel="nofollow noopener" target="_blank">#pip</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/uv" class="mention hashtag" rel="nofollow noopener" target="_blank">#uv</a> <a href="https://zhub.link/tags/pandas" class="mention hashtag" rel="nofollow noopener" target="_blank">#pandas</a> <a href="https://zhub.link/tags/jupyter_notebook" class="mention hashtag" rel="nofollow noopener" target="_blank">#jupyter_notebook</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a>

HabrBoxplot, он же ящик с усамиПредставьте, что вам нужно быстро сравнить распределения зарплат сотрудников разных отделов или оценить разброс результатов эксперимента. В таких ситуациях отличным выбором будет boxplot, он же “ящик с усами” – эффективный инструмент для выявления ключевых характеристик распределения, позволяющий быстро оценить медиану, разброс данных и обнаружить выбросы. В этой статье мы подробно разберем, что такое boxplot и почему его называют “ящиком с усами”.<a href="https://habr.com/ru/articles/879840/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/879840/</a><a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#анализ_данных</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/%D0%B2%D0%B8%D0%B7%D1%83%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#визуализация_данных</a> <a href="https://zhub.link/tags/data_visualization" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_visualization</a> <a href="https://zhub.link/tags/boxplot" class="mention hashtag" rel="nofollow noopener" target="_blank">#boxplot</a> <a href="https://zhub.link/tags/%D1%8F%D1%89%D0%B8%D0%BA_%D1%81_%D1%83%D1%81%D0%B0%D0%BC%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#ящик_с_усами</a> <a href="https://zhub.link/tags/machine_learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#machine_learning</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/%D1%81%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#статистика</a>

RedPacket SecurityData Volumes and Deletion issues Faced by European Police in Cybercrime Investigations - <a href="https://www.redpacketsecurity.com/european-police-data-volumes-and-deletion-hindering-investigations/" rel="nofollow noopener" translate="no" target="_blank">https://www.redpacketsecurity.com/european-police-data-volumes-and-deletion-hindering-investigations/</a><a href="https://mastodon.social/tags/threatintel" class="mention hashtag" rel="nofollow noopener" target="_blank">#threatintel</a> <a href="https://mastodon.social/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://mastodon.social/tags/Europol" class="mention hashtag" rel="nofollow noopener" target="_blank">#Europol</a> <a href="https://mastodon.social/tags/cybercrime" class="mention hashtag" rel="nofollow noopener" target="_blank">#cybercrime</a>

HabrData-driven культура и подход по версии аналитикаПривет! Я работаю в аналитике и с данными уже 13+ лет. Про data-driven от заказчиков-пользователей трудов моей работы слышу тоже, почти 13+ лет. И очень разные интерпретации этого явления встречал. Думаю, что я один из тех, чья трудовая деятельность ближе всего к data-driven. Хочу рассказать о том, какой data-driven = хорошо , а какой != хорошо . Эта статья может быть полезна как управленцам, так и аналитикам. Давайте говорить на "одном языке".) != хорошо Это когда PM, PO, CIO и даже CTO, роли, задачи которых развивать бизнес (дальше буду называть эти роли "бизнесом"), не используют в работе цифры, полагаясь на экспертные мнения или оценки. При этом цифры могут быть и использоваться для чего-то ещё. Например, для того, чтобы косвенно отслеживать работоспособность продукта - тоже неплохой вариант для аналитики, но, думаю, лучше работать с повышением качества тестирования продукта. Индикаторы того, что вы работаете в компании с плохим вариантом интерпретации data-driven:<a href="https://habr.com/ru/articles/874206/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/874206/</a><a href="https://zhub.link/tags/datadriven" class="mention hashtag" rel="nofollow noopener" target="_blank">#datadriven</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%B8%D0%BD%D1%8F%D1%82%D0%B8%D0%B5_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#принятие_решений</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a>

HabrДокументация, которая точно не навредит аналитике в Вашем проектеПривет! Я работаю Chief Data Officer в средней российской компании и, думаю, попробовал «всякое» в плане работы с документацией для команды, которая работает с данными. Хочу поделиться своим опытом того, что «маст хев» в документации в Вашем проекте, когда есть планы вроде «make analysis great [again]». Нука-нука!<a href="https://habr.com/ru/articles/864512/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/864512/</a><a href="https://zhub.link/tags/%D0%B4%D0%BE%D0%BA%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%86%D0%B8%D1%8F_%D1%8D%D1%82%D0%BE_%D0%BB%D0%B5%D0%B3%D0%BA%D0%BE" class="mention hashtag" rel="nofollow noopener" target="_blank">#документация_это_легко</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитика_данных</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/%D0%BC%D0%B5%D1%82%D0%B0%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#метаданные</a>

HabrБизнес-визуализации или графики, которые недооценивают. Часть IРасскажу я вам о способах визуализации данных, которые помогают бизнесу быстро оценивать информацию и принимать обоснованные решения. Постараюсь объяснить теоретические аспекты и продемонстрировать на практическом примере. Донести плюсы и минусы этих визуализаций.<a href="https://habr.com/ru/articles/864370/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/864370/</a><a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82%D0%BE%D0%B2%D1%8B%D0%B9_%D0%B4%D0%B8%D0%B7%D0%B0%D0%B9%D0%BD" class="mention hashtag" rel="nofollow noopener" target="_blank">#продуктовый_дизайн</a> <a href="https://zhub.link/tags/%D0%B2%D0%B8%D0%B7%D1%83%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#визуализация_данных</a> <a href="https://zhub.link/tags/%D0%B4%D0%B8%D0%B0%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#диаграмма</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/product_design" class="mention hashtag" rel="nofollow noopener" target="_blank">#product_design</a>

HabrКак СИБУР заменил иностранное ПО за три месяца: кейс создания RTO-модели для производства этилена и пропиленаКогда иностранные вендоры приостановили работу в России, под угрозой оказалось внедрение систем на производстве этилена и пропилена. Без критически важного программного обеспечения Spyro производство могло столкнуться с серьёзными экономическими потерями. Я, Вячеслав Базанов, руководитель проекта, и моя команда инженеров и аналитиков из Цифрового СИБУРа взялись за разработку собственной модели прогнозирования. Это был вызов по масштабу и срокам, но мы справились и за три месяца создали решение, которое не только заменило прежнюю систему, но и улучшило её эффективность. Добро пожаловать под кат — расскажу, как мы это сделали.<a href="https://habr.com/ru/companies/sibur_official/articles/863382/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/sibur_official/articles/863382/</a><a href="https://zhub.link/tags/rto" class="mention hashtag" rel="nofollow noopener" target="_blank">#rto</a> <a href="https://zhub.link/tags/%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#оптимизация</a> <a href="https://zhub.link/tags/%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#моделирование</a> <a href="https://zhub.link/tags/realtime_optimization" class="mention hashtag" rel="nofollow noopener" target="_blank">#realtime_optimization</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/heavy_digital" class="mention hashtag" rel="nofollow noopener" target="_blank">#heavy_digital</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D1%81%D1%82%D0%B2%D0%BE" class="mention hashtag" rel="nofollow noopener" target="_blank">#производство</a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_science</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a>

HabrИмпортозамещение Data Quality стека в нефтегазохимии: опыт СИБУРаВ СИБУРе много данных, которые текут в режиме реального времени с многочисленных датчиков на разных производствах, эти данные нужно собирать, хранить, обрабатывать и анализировать, чтобы компания могла принимать правильные бизнес-решения. И от качества инфраструктуры для работы с данными зависит рентабельность производств и прибыль компании в целом, а это жизненно важные показатели. В небольшом цикле из двух статей мы разберём опыт СИБУРа в создании, поддержке и развитии DQ (Data Quality — качество данных) сервиса для DWH (Data Warehouse — хранилище данных) в условиях санкций и исчезающих вендоров проверенных и привычных решений. Рассказывать об этом опыте будет Александр Бергер , Lead DQ Analyst в Цифровом СИБУРе, которому посчастливилось лидить процесс создания DQ-сервиса на решениях вендора, который решил покинуть рынок РФ в разгар рабочего процесса.<a href="https://habr.com/ru/companies/sibur_official/articles/855310/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/sibur_official/articles/855310/</a><a href="https://zhub.link/tags/data_quality" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_quality</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/soda" class="mention hashtag" rel="nofollow noopener" target="_blank">#soda</a> <a href="https://zhub.link/tags/%D0%BA%D0%B0%D1%87%D0%B5%D1%81%D1%82%D0%B2%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_" class="mention hashtag" rel="nofollow noopener" target="_blank">#качество_данных_</a>(data_quality) <a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a> <a href="https://zhub.link/tags/%D1%81%D0%B8%D0%B1%D1%83%D1%80_%D1%86%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%BE%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#сибур_цифровой</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%BC%D1%8B%D1%88%D0%BB%D0%B5%D0%BD%D0%BD%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#промышленность</a> <a href="https://zhub.link/tags/heavy_digital" class="mention hashtag" rel="nofollow noopener" target="_blank">#heavy_digital</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D1%84%D1%82%D0%B5%D1%85%D0%B8%D0%BC%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#нефтехимия</a> <a href="https://zhub.link/tags/%D0%B7%D0%B0%D0%B2%D0%BE%D0%B4%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#заводы</a>

Recent searches

Search options

Administered by:

Server stats:

#data_analysis