Mastodon 🐘

HabrУскорить Pandas в 60 раз: проверяем лайфхаки из интернета на реальном проекте и обкладываемся бенчмаркамиПривет! Если после заголовка вы решили, что это очередная статья в стиле «Топ-10 способов ускорить Pandas», то не торопитесь с выводами. Вместо топов и подборок предлагаю взглянуть на бенчмарки скорости и потребления памяти в зависимости от характеристик датафрейма и убедиться, что часть советов из статей по ускорению могут оказаться даже вредными. Разберём, какой из способов ускорения нужно пробовать в разных ситуациях, как это зависит от размера датафрейма и как ведёт себя в реальном проекте.<a href="https://habr.com/ru/companies/tochka/articles/899730/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/tochka/articles/899730/</a><a href="https://zhub.link/tags/pandasprofiling" class="mention hashtag" rel="nofollow noopener" target="_blank">#pandasprofiling</a> <a href="https://zhub.link/tags/pandas" class="mention hashtag" rel="nofollow noopener" target="_blank">#pandas</a> <a href="https://zhub.link/tags/pandas_multiindex" class="mention hashtag" rel="nofollow noopener" target="_blank">#pandas_multiindex</a> <a href="https://zhub.link/tags/dataprocessing" class="mention hashtag" rel="nofollow noopener" target="_blank">#dataprocessing</a> <a href="https://zhub.link/tags/data_pipelines" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_pipelines</a>

HabrDagster: новый стандарт для ETL в 2025?Мы живем в век данных и data-driven подхода. Есть продуктовые компании, где даже минимальные изменения в продукте обязаны пройти A/B-тест перед релизом (который из-за этого может и не состояться). С бумом данных и AI произошел и бум ETL (Extract, Transform, Load) инструментов. Сейчас, в 2024 году, выбор действительно впечатляет, даже если ограничиться только open source-решениями:<a href="https://habr.com/ru/articles/883700/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/883700/</a><a href="https://zhub.link/tags/dagster" class="mention hashtag" rel="nofollow noopener" target="_blank">#dagster</a> <a href="https://zhub.link/tags/etl" class="mention hashtag" rel="nofollow noopener" target="_blank">#etl</a> <a href="https://zhub.link/tags/data_pipelines" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_pipelines</a> <a href="https://zhub.link/tags/%D0%BE%D1%80%D0%BA%D0%B5%D1%81%D1%82%D1%80%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#оркестрация</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/mlops" class="mention hashtag" rel="nofollow noopener" target="_blank">#mlops</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/dataops_engineer" class="mention hashtag" rel="nofollow noopener" target="_blank">#dataops_engineer</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="nofollow noopener" target="_blank">#big_data</a> <a href="https://zhub.link/tags/big_data_analytics" class="mention hashtag" rel="nofollow noopener" target="_blank">#big_data_analytics</a>

Recent searches

Search options

Administered by:

Server stats:

#data_pipelines