Mastodon 🐘

HabrПовышение эффективности аналитических баз данных: кейс «Комус» и ArenadataХабр, привет! Современные высоконагруженные системы требуют точной настройки и регулярного мониторинга, чтобы обеспечить стабильную производительность в условиях постоянно растущих объёмов данных. Когда речь идёт о крупной аналитической базе данных, развёрнутой в облачной среде, оптимизация её работы становится критически важной задачей. В прошлой статье мы уже рассказывали о типичных ошибках при работе с Arenadata DB (ADB), о том, как их избежать и значительно повысить производительность кластера. Сегодня же поделимся реальным опытом на примере компании «Комус» — лидера в области B2B-ритейла, которая обратилась к Arenadata за проведением комплексного аудита своего кластера ADB. В этой статье мы детально разобрали, как с помощью анализа и оптимизации удалось выявить точки роста, подготовить кластер к текущим и будущим нагрузкам и предложить план улучшений. Мы рассмотрим технические детали аудита, проблемы, с которыми пришлось столкнуться, и эффективные практики, позволившие повысить производительность аналитической базы данных. Что там с нагрузкой на кластер?<a href="https://habr.com/ru/companies/arenadata/articles/887792/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/arenadata/articles/887792/</a><a href="https://zhub.link/tags/arenadata_db" class="mention hashtag" rel="nofollow noopener" target="_blank">#arenadata_db</a> <a href="https://zhub.link/tags/%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#оптимизация_базы_данных</a> <a href="https://zhub.link/tags/etl" class="mention hashtag" rel="nofollow noopener" target="_blank">#etl</a> <a href="https://zhub.link/tags/%D0%B2%D1%8B%D1%81%D0%BE%D0%BA%D0%BE%D0%BD%D0%B0%D0%B3%D1%80%D1%83%D0%B6%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#высоконагруженные_системы</a> <a href="https://zhub.link/tags/highload" class="mention hashtag" rel="nofollow noopener" target="_blank">#highload</a> <a href="https://zhub.link/tags/%D0%BF%D0%B0%D1%80%D1%82%D0%B8%D1%86%D0%B8%D0%BE%D0%BD%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#партиционирование</a> <a href="https://zhub.link/tags/%D0%B0%D1%83%D0%B4%D0%B8%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#аудит</a> <a href="https://zhub.link/tags/data_analysis" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_analysis</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#базы_данных</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитические_базы_данных</a>

HabrОтслеживание изменений размеров таблиц Arenadata DBИстория, связанная с этой задачей, началась для нас в мае 2024 года. Один из крупных пользователей Greenplum/Arenadata DB обратился к нам с запросом реализовать возможность отслеживания изменения размеров файлов данных таблиц. Эта функциональность стала бы составной частью, источником событий для системы мониторинга пользовательских кластеров. Задача показалась нам крайне интересной и перспективной. Однако пользователю, как это часто бывает, решение требовалось уже вчера. С одной стороны, мы осознавали всю сложность этой задачи в полнофункциональной реализации для всех пользователей нашего продукта (и как следствие, адекватно оценивали предполагаемые трудозатраты). С другой стороны, затачивать решение под конкретного пользователя, но в то же время и поставлять эту реализацию как часть общего решения мы сочли неправильным. По итогу команда разработки продолжила работу в своём темпе и в соответствии со своим представлением о реализации.<a href="https://habr.com/ru/companies/arenadata/articles/881808/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/arenadata/articles/881808/</a><a href="https://zhub.link/tags/arenadata_db" class="mention hashtag" rel="nofollow noopener" target="_blank">#arenadata_db</a> <a href="https://zhub.link/tags/monitoring" class="mention hashtag" rel="nofollow noopener" target="_blank">#monitoring</a> <a href="https://zhub.link/tags/greenplum" class="mention hashtag" rel="nofollow noopener" target="_blank">#greenplum</a> <a href="https://zhub.link/tags/postgres" class="mention hashtag" rel="nofollow noopener" target="_blank">#postgres</a> <a href="https://zhub.link/tags/bloom_filter" class="mention hashtag" rel="nofollow noopener" target="_blank">#bloom_filter</a> <a href="https://zhub.link/tags/%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B7%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D0%BE%D0%B2" class="mention hashtag" rel="nofollow noopener" target="_blank">#оптимизация_запросов</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="nofollow noopener" target="_blank">#big_data</a> <a href="https://zhub.link/tags/grafana" class="mention hashtag" rel="nofollow noopener" target="_blank">#grafana</a> <a href="https://zhub.link/tags/%D1%81%D1%83%D0%B1%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#субд</a> <a href="https://zhub.link/tags/%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#метрики</a>

HabrУстановка Arenadata DB 7.2 на компьютер с небольшим объемом оперативной памятиУстановка Arenadata DB 7.2 выполняется с помощью Arenadata Cluster Manager (ADCM). Это средство предназначено для разворачивания кластера на большом числе хостов с большим объемом оперативной памяти на каждом из них. А если кластер Arenadata нужен не для производительной работы, а для проведения экспериментов или для разработки/тестирования, можно ли развернуть его на компьютере с небольшим объемом оперативной памяти, например, 32 Гб? Будет ли кластер работать стабильно? Позволит ли он выполнять тяжелые операции? Каково минимальное количество виртуальных машин, на которых можно запустить Arenadata DB 7.2?<a href="https://habr.com/ru/articles/881782/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/881782/</a><a href="https://zhub.link/tags/arenadata_db" class="mention hashtag" rel="nofollow noopener" target="_blank">#arenadata_db</a> <a href="https://zhub.link/tags/mpp%D0%B1%D0%B0%D0%B7%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#mppбазы</a>

HabrКак реализовать и оптимизировать UPSERT в Greenplum 6Привет! Меня зовут Антон Васильев, я работаю инженером технической поддержки компании Arenadata и нередко сталкиваюсь с довольно каверзными задачами и багами. Одной из них была проблема оптимизации механизма UPSERT в Greenplum 6. В этой статье я хочу рассказать, как эта задача может быть решена.<a href="https://habr.com/ru/companies/arenadata/articles/830864/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/arenadata/articles/830864/</a><a href="https://zhub.link/tags/greenplum" class="mention hashtag" rel="nofollow noopener" target="_blank">#greenplum</a> <a href="https://zhub.link/tags/arenadata_db" class="mention hashtag" rel="nofollow noopener" target="_blank">#arenadata_db</a> <a href="https://zhub.link/tags/postresql" class="mention hashtag" rel="nofollow noopener" target="_blank">#postresql</a> <a href="https://zhub.link/tags/upsert" class="mention hashtag" rel="nofollow noopener" target="_blank">#upsert</a> <a href="https://zhub.link/tags/sql" class="mention hashtag" rel="nofollow noopener" target="_blank">#sql</a> <a href="https://zhub.link/tags/pgsql" class="mention hashtag" rel="nofollow noopener" target="_blank">#pgsql</a>

HabrЧто нового в Greenplum 7. ЗаключениеПеред вами заключительная, третья часть обзора изменений в Greenplum 7. Если вы по каким-то причинам пропустили прошлые публикации, то их можно найти в нашем блоге здесь и здесь . А сегодня мы поговорим об изменениях в партиционировании таблиц и ресурсных группах, JIT-компиляции выражений и многом другом. Давайте начнём! Назад в Будущее III<a href="https://habr.com/ru/companies/arenadata/articles/824116/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/arenadata/articles/824116/</a><a href="https://zhub.link/tags/postgresql" class="mention hashtag" rel="nofollow noopener" target="_blank">#postgresql</a> <a href="https://zhub.link/tags/greenplum" class="mention hashtag" rel="nofollow noopener" target="_blank">#greenplum</a> <a href="https://zhub.link/tags/db" class="mention hashtag" rel="nofollow noopener" target="_blank">#db</a> <a href="https://zhub.link/tags/sql" class="mention hashtag" rel="nofollow noopener" target="_blank">#sql</a> <a href="https://zhub.link/tags/arenadata_db" class="mention hashtag" rel="nofollow noopener" target="_blank">#arenadata_db</a> <a href="https://zhub.link/tags/arenadata" class="mention hashtag" rel="nofollow noopener" target="_blank">#arenadata</a> <a href="https://zhub.link/tags/highload" class="mention hashtag" rel="nofollow noopener" target="_blank">#highload</a> <a href="https://zhub.link/tags/mpp" class="mention hashtag" rel="nofollow noopener" target="_blank">#mpp</a> <a href="https://zhub.link/tags/opensourse" class="mention hashtag" rel="nofollow noopener" target="_blank">#opensourse</a> <a href="https://zhub.link/tags/bigdata" class="mention hashtag" rel="nofollow noopener" target="_blank">#bigdata</a>

HabrЧто нового в Greenplum 7. Часть 2В прошлой части обзора изменений и нововведений Greenplum 7 мы рассмотрели миграцию движка Append Optimized таблиц на использование интерфейса табличных методов доступа, оптимизацию добавления столбцов в таблицы, а также изменения, связанные с поддержкой индексов. Сегодня мы поговорим об ещё одном новом для Greenplum типе индексов и не только. Назад в Будущее II...<a href="https://habr.com/ru/companies/arenadata/articles/822309/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/arenadata/articles/822309/</a><a href="https://zhub.link/tags/greenplum" class="mention hashtag" rel="nofollow noopener" target="_blank">#greenplum</a> <a href="https://zhub.link/tags/postgres" class="mention hashtag" rel="nofollow noopener" target="_blank">#postgres</a> <a href="https://zhub.link/tags/sql" class="mention hashtag" rel="nofollow noopener" target="_blank">#sql</a> <a href="https://zhub.link/tags/db" class="mention hashtag" rel="nofollow noopener" target="_blank">#db</a> <a href="https://zhub.link/tags/arenadata_db" class="mention hashtag" rel="nofollow noopener" target="_blank">#arenadata_db</a> <a href="https://zhub.link/tags/arenadata" class="mention hashtag" rel="nofollow noopener" target="_blank">#arenadata</a> <a href="https://zhub.link/tags/highload" class="mention hashtag" rel="nofollow noopener" target="_blank">#highload</a> <a href="https://zhub.link/tags/mpp" class="mention hashtag" rel="nofollow noopener" target="_blank">#mpp</a> <a href="https://zhub.link/tags/opensourse" class="mention hashtag" rel="nofollow noopener" target="_blank">#opensourse</a> <a href="https://zhub.link/tags/bigdata" class="mention hashtag" rel="nofollow noopener" target="_blank">#bigdata</a>

HabrЧто нового в Greenplum 7- Что вы ожидаете от Greenplum 7? - Postgres 12! Если бы мы проводили опрос наших заказчиков, ответ на данный вопрос прозвучал бы именно так. Как известно, Greenplum является одним из многочисленных форков Postgres, кодовая база которого наконец-то догнала ещё пока поддерживаемую версию Postgres (отмечу, что последний релиз Postgres 12 состоится в ноябре текущего года). Однако, наличие какого-либо функционала в Postgres не гарантирует его работу в рамках распределённой системы. В этой статье я начну рассказывать о функциях, которые стали доступны в новой версии, и о том, какой путь пришлось пройти, чтобы обеспечить их работоспособность, а также о возможных ограничениях и причинах их возникновения. Назад в Будущее...<a href="https://habr.com/ru/companies/arenadata/articles/820807/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/arenadata/articles/820807/</a><a href="https://zhub.link/tags/postgresql" class="mention hashtag" rel="nofollow noopener" target="_blank">#postgresql</a> <a href="https://zhub.link/tags/greenplum" class="mention hashtag" rel="nofollow noopener" target="_blank">#greenplum</a> <a href="https://zhub.link/tags/sql" class="mention hashtag" rel="nofollow noopener" target="_blank">#sql</a> <a href="https://zhub.link/tags/db" class="mention hashtag" rel="nofollow noopener" target="_blank">#db</a> <a href="https://zhub.link/tags/arenadata_db" class="mention hashtag" rel="nofollow noopener" target="_blank">#arenadata_db</a> <a href="https://zhub.link/tags/arenadata" class="mention hashtag" rel="nofollow noopener" target="_blank">#arenadata</a> <a href="https://zhub.link/tags/highload" class="mention hashtag" rel="nofollow noopener" target="_blank">#highload</a> <a href="https://zhub.link/tags/mpp" class="mention hashtag" rel="nofollow noopener" target="_blank">#mpp</a> <a href="https://zhub.link/tags/opensourse" class="mention hashtag" rel="nofollow noopener" target="_blank">#opensourse</a> <a href="https://zhub.link/tags/bigdata" class="mention hashtag" rel="nofollow noopener" target="_blank">#bigdata</a>

Recent searches

Search options

Administered by:

Server stats:

#arenadata_db