Mastodon 🐘

:rss: DevelopersIOCloud Composer で Storage Transfer Service の動的設定更新ワークフローを構築する <a href="https://dev.classmethod.jp/articles/cloud-composer-storage-transfer-service-dynamic-config-update/" rel="nofollow noopener" translate="no" target="_blank">https://dev.classmethod.jp/articles/cloud-composer-storage-transfer-service-dynamic-config-update/</a><a href="https://rss-mstdn.studiofreesia.com/tags/dev_classmethod" class="mention hashtag" rel="nofollow noopener" target="_blank">#dev_classmethod</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_Cloud_GCP" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_Cloud_GCP</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Cloud_Composer" class="mention hashtag" rel="nofollow noopener" target="_blank">#Cloud_Composer</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Storage_Transfer_Service" class="mention hashtag" rel="nofollow noopener" target="_blank">#Storage_Transfer_Service</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Apache_Airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#Apache_Airflow</a>

HabrОсновы ETL на примере работы с Superset, Airflow и ClickHouseВ этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В качестве платформы я взял готовую конфигурацию от Beget, включающую Superset и Airflow из коробки — это позволяет сосредоточиться на логике обработки данных, а не на настройке окружения. В качестве примера мы подготовим процесс выгрузки и визуализации данных о товарах с сайта Wildberries. Для извлечения данных мы будем использовать Python-библиотеки selenium и BeautifulSoup — они хорошо подходят для парсинга веб-страниц. Дополнительно применим re для обработки текстовой информации с помощью регулярных выражений.<a href="https://habr.com/ru/companies/beget/articles/928712/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/beget/articles/928712/</a><a href="https://zhub.link/tags/etl" class="mention hashtag" rel="nofollow noopener" target="_blank">#etl</a> <a href="https://zhub.link/tags/apache_airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_airflow</a> <a href="https://zhub.link/tags/apache_superset" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_superset</a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#clickhouse</a> <a href="https://zhub.link/tags/dag" class="mention hashtag" rel="nofollow noopener" target="_blank">#dag</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#обработка_данных</a> <a href="https://zhub.link/tags/bi%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#biинструменты</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#анализ_данных</a> <a href="https://zhub.link/tags/beget" class="mention hashtag" rel="nofollow noopener" target="_blank">#beget</a>

HabrИнтеграция с ClickHouse: NiFi vs AirflowНа связи Никита Скирдин, программист 1С компании «Белый код». В прошлой статье мы уже говорили о загрузке данных для системы BI-аналитики. В этой же статье разберем решение задачи с использованием Apache NiFi — системы для автоматизации потоков данных. Хотя NiFi позиционируется как ETL-инструмент (extract transform load), позволяющий внутри себя осуществить необходимые преобразования над поступающими данными, ничто не мешает нам использовать его также для ELT-процесса (extract load transform).<a href="https://habr.com/ru/companies/w_code/articles/917514/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/w_code/articles/917514/</a><a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%82%D0%B5%D0%B3%D1%80%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#интеграция</a> <a href="https://zhub.link/tags/%D1%81%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#сравнение</a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#clickhouse</a> <a href="https://zhub.link/tags/apache_airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_airflow</a> <a href="https://zhub.link/tags/nifi" class="mention hashtag" rel="nofollow noopener" target="_blank">#nifi</a>

:rss: DevelopersIOCloud Composer でカスタムセンサーを実装して Storage Transfer Service のオペレーション完了を待機する <a href="https://dev.classmethod.jp/articles/cloud-composer-custom-sensor-storage-transfer-service/" rel="nofollow noopener" translate="no" target="_blank">https://dev.classmethod.jp/articles/cloud-composer-custom-sensor-storage-transfer-service/</a><a href="https://rss-mstdn.studiofreesia.com/tags/dev_classmethod" class="mention hashtag" rel="nofollow noopener" target="_blank">#dev_classmethod</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_Cloud_GCP" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_Cloud_GCP</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Cloud_Composer" class="mention hashtag" rel="nofollow noopener" target="_blank">#Cloud_Composer</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Storage_Transfer_Service" class="mention hashtag" rel="nofollow noopener" target="_blank">#Storage_Transfer_Service</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Apache_Airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#Apache_Airflow</a>

HabrДолгожданный релиз Airflow 3.0.0Привет, Хабр! Я Георгий Новожилов, инженер данных в «ДАР» (ГК «КОРУС Консалтинг»). В моём стеке и стеке моих коллег Airflow, можно сказать, незаменим. Он помогает нам планировать, запускать и отслеживать сотни задач обработки данных, которые крутятся в кластере каждый день. 22 апреля 2025 года компания Apache выпустила новую версию своего оркестратора, которая была в разработке последние 4 года. Среди ключевых изменений — новый интерфейс, обновлённая и защищённая архитектура, а также стабильный интерфейс разработки. В этой статье предлагаю рассмотреть, какие ещё нововведения нам привезли в масштабном обновлении Apache Airflow 3.0.0.<a href="https://habr.com/ru/articles/913464/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/913464/</a><a href="https://zhub.link/tags/airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#airflow</a> <a href="https://zhub.link/tags/apache_airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_airflow</a> <a href="https://zhub.link/tags/%D1%80%D0%B5%D0%BB%D0%B8%D0%B7" class="mention hashtag" rel="nofollow noopener" target="_blank">#релиз</a> <a href="https://zhub.link/tags/pipeline" class="mention hashtag" rel="nofollow noopener" target="_blank">#pipeline</a> <a href="https://zhub.link/tags/%D0%BE%D1%80%D0%BA%D0%B5%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%BE%D1%80" class="mention hashtag" rel="nofollow noopener" target="_blank">#оркестратор</a> <a href="https://zhub.link/tags/airflow_3" class="mention hashtag" rel="nofollow noopener" target="_blank">#airflow_3</a>

HabrПланировщики процессов — другие open source решенияТакие workflow-оркестраторы, как Metaflow или Apache Airflow, на слуху. Однако в их тени существуют не менее интересные решения — например, StepWise, Dagu, Windmill, Flyte и µTask. Они предоставляют интересные возможности для автоматизации, ускорения и упрощения настройки сложных workflow, и часто обладают более современной архитектурой, меньшим порогом входа или ярко выраженной специализацией для типовых задач. Сегодня познакомимся подробнее с инструментами, которые расширят ваш арсенал и помогут создавать более надёжные и экономичные системы.<a href="https://habr.com/ru/companies/mws/articles/909790/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/mws/articles/909790/</a><a href="https://zhub.link/tags/metaflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#metaflow</a> <a href="https://zhub.link/tags/apache_airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_airflow</a> <a href="https://zhub.link/tags/StepWise" class="mention hashtag" rel="nofollow noopener" target="_blank">#StepWise</a> <a href="https://zhub.link/tags/Dagu" class="mention hashtag" rel="nofollow noopener" target="_blank">#Dagu</a> <a href="https://zhub.link/tags/Windmill" class="mention hashtag" rel="nofollow noopener" target="_blank">#Windmill</a> <a href="https://zhub.link/tags/Flyte" class="mention hashtag" rel="nofollow noopener" target="_blank">#Flyte</a> <a href="https://zhub.link/tags/workflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#workflow</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B0_%D1%81_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%BC%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#работа_с_данными</a>

HabrРабота с библиотеками, которые не установлены в AirflowДанные библиотеки можно использовать при работе со SparkOperator: 1. Создание виртуального окружения с необходимыми библиотеками 2. Создание задачи в даге и установка окружения в SparkSubmit<a href="https://habr.com/ru/articles/889394/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/889394/</a><a href="https://zhub.link/tags/apache_airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_airflow</a> <a href="https://zhub.link/tags/bigdata" class="mention hashtag" rel="nofollow noopener" target="_blank">#bigdata</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/%D0%B2%D0%B8%D1%80%D1%82%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D0%BE%D0%BA%D1%80%D1%83%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#виртуальное_окружение</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%B0%D0%BA%D1%82%D0%B8%D0%BA%D0%B8_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#практики_программирования</a> <a href="https://zhub.link/tags/dags" class="mention hashtag" rel="nofollow noopener" target="_blank">#dags</a> <a href="https://zhub.link/tags/bash" class="mention hashtag" rel="nofollow noopener" target="_blank">#bash</a> <a href="https://zhub.link/tags/etl" class="mention hashtag" rel="nofollow noopener" target="_blank">#etl</a>

:rss: DevelopersIOCloud Composer で DAG 解析時間アラートを設定してみた <a href="https://dev.classmethod.jp/articles/cloud-composer-dag-parse-times-alerts/" rel="nofollow noopener" translate="no" target="_blank">https://dev.classmethod.jp/articles/cloud-composer-dag-parse-times-alerts/</a><a href="https://rss-mstdn.studiofreesia.com/tags/dev_classmethod" class="mention hashtag" rel="nofollow noopener" target="_blank">#dev_classmethod</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_Cloud_GCP" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_Cloud_GCP</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Cloud_Composer" class="mention hashtag" rel="nofollow noopener" target="_blank">#Cloud_Composer</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Cloud_Monitoring" class="mention hashtag" rel="nofollow noopener" target="_blank">#Cloud_Monitoring</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Apache_Airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#Apache_Airflow</a>

HabrРынок труда ML-специалистов в 2025 году: востребованные навыки и карьерные трекиВ одном из недавних интервью Марк Цукерберг заявил , что к 2025 году искусственный интеллект (ИИ) сможет выполнять большинство задач Middle-разработчиков в Meta (запрещенная в РФ организация). По словам Цукерберга, ИИ уже помогает писать код и постепенно забирает на себя простые инженерные задачи, но хорошие Middle-инженеры все еще будут нужны. Правда при условии, что они будут осваивать новые востребованные технологии. С учетом влияния компании на технологическую повестку во всем мире заявление звучит серьезно: крупные игроки индустрии уже сейчас диктуют направление, в котором будет развиваться рынок труда в связи с масштабированием ИИ — это автоматизация большей части функций и появление новых. В таких условиях многим специалистам придется адаптироваться и прокачивать навыки, чтобы оставаться востребованными на рынке.<a href="https://habr.com/ru/articles/882040/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/882040/</a><a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/ml%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80" class="mention hashtag" rel="nofollow noopener" target="_blank">#mlинженер</a> <a href="https://zhub.link/tags/ai_talent_hub" class="mention hashtag" rel="nofollow noopener" target="_blank">#ai_talent_hub</a> <a href="https://zhub.link/tags/mlops" class="mention hashtag" rel="nofollow noopener" target="_blank">#mlops</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B2%D0%B5%D0%B1%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%BE%D0%B2" class="mention hashtag" rel="nofollow noopener" target="_blank">#разработка_вебсервисов</a> <a href="https://zhub.link/tags/%D1%80%D1%8B%D0%BD%D0%BE%D0%BA_%D1%82%D1%80%D1%83%D0%B4%D0%B0_it" class="mention hashtag" rel="nofollow noopener" target="_blank">#рынок_труда_it</a> <a href="https://zhub.link/tags/pytorch" class="mention hashtag" rel="nofollow noopener" target="_blank">#pytorch</a> <a href="https://zhub.link/tags/scikitlearn" class="mention hashtag" rel="nofollow noopener" target="_blank">#scikitlearn</a> <a href="https://zhub.link/tags/apache_airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_airflow</a> <a href="https://zhub.link/tags/postgresql" class="mention hashtag" rel="nofollow noopener" target="_blank">#postgresql</a>

:rss: DevelopersIOCloud Composer で Airflow タスクの SLA を設定してみた <a href="https://dev.classmethod.jp/articles/cloud-composer-airflow-task-sla/" rel="nofollow noopener" translate="no" target="_blank">https://dev.classmethod.jp/articles/cloud-composer-airflow-task-sla/</a><a href="https://rss-mstdn.studiofreesia.com/tags/dev_classmethod" class="mention hashtag" rel="nofollow noopener" target="_blank">#dev_classmethod</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_Cloud_GCP" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_Cloud_GCP</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Cloud_Composer" class="mention hashtag" rel="nofollow noopener" target="_blank">#Cloud_Composer</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Apache_Airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#Apache_Airflow</a>

HabrСОЗДАНИЕ ETL-ДВИЖКА ДЛЯ РЕПЛИКАЦИИ ДАННЫХ ИЗ APACHE HIVE В CLICKHOUSEПредставлено создание ETL-движка, который помогает автоматически извлекать, преобразовывать и загружать данные из разных источников. Мы сосредоточились на разработке быстрого инструмента, который использует параллельную обработку и оптимизированные алгоритмы. Результаты тестирования показывают, что движок эффективно справляется с большими объемами данных, что помогает лучше анализировать информацию и принимать обоснованные бизнес-решения.<a href="https://habr.com/ru/articles/874262/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/874262/</a><a href="https://zhub.link/tags/apache_hive" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_hive</a> <a href="https://zhub.link/tags/%D1%80%D0%B5%D0%BF%D0%BB%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#репликация_данных</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#clickhouse</a> <a href="https://zhub.link/tags/apache_airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_airflow</a> <a href="https://zhub.link/tags/spark" class="mention hashtag" rel="nofollow noopener" target="_blank">#spark</a> <a href="https://zhub.link/tags/jupyterlab" class="mention hashtag" rel="nofollow noopener" target="_blank">#jupyterlab</a> <a href="https://zhub.link/tags/jupyter_notebook" class="mention hashtag" rel="nofollow noopener" target="_blank">#jupyter_notebook</a>

HabrКак мы деплоем Apache Airflow для промышленного использования в KubernetesЧто делает инженер, если DAG не выполняется? Проверяет Airflow 50 раз, а потом вспоминает, что забыл поставить @dag над функцией. Развертывание Apache Airflow в промышленной среде — это сложная задача, требующая учета множества аспектов: от обеспечения безопасности конфиденциальных данных до эффективного управления ресурсами. Одной из ключевых проблем, с которыми сталкиваются команды, является безопасное управление секретами, оптимизация конфигураций и наблюдаемость. В этой статье мы рассмотрим, как использовать инструменты, такие как Sops и YAML-якоря, для упрощения управления конфиденциальными данными и улучшения читаемости конфигураций. А так же как обеспечить полную наблюдаемость инсталляции Apache Airflow<a href="https://habr.com/ru/articles/871660/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/871660/</a><a href="https://zhub.link/tags/apache_airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_airflow</a> <a href="https://zhub.link/tags/observability" class="mention hashtag" rel="nofollow noopener" target="_blank">#observability</a> <a href="https://zhub.link/tags/kubernetes" class="mention hashtag" rel="nofollow noopener" target="_blank">#kubernetes</a> <a href="https://zhub.link/tags/production" class="mention hashtag" rel="nofollow noopener" target="_blank">#production</a>

:rss: DevelopersIOCloud Composer で Deferrable Operators を使って BigQuery ジョブの完了を待機してみた <a href="https://rss-mstdn.studiofreesia.com/tags/cm_google_cloud_adcal_2024de" class="mention hashtag" rel="nofollow noopener" target="_blank">#cm_google_cloud_adcal_2024de</a> <a href="https://dev.classmethod.jp/articles/cloud-composer-deferrable-operators-bigquery/" rel="nofollow noopener" translate="no" target="_blank">https://dev.classmethod.jp/articles/cloud-composer-deferrable-operators-bigquery/</a><a href="https://rss-mstdn.studiofreesia.com/tags/dev_classmethod" class="mention hashtag" rel="nofollow noopener" target="_blank">#dev_classmethod</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_Cloud_GCP" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_Cloud_GCP</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Cloud_Composer" class="mention hashtag" rel="nofollow noopener" target="_blank">#Cloud_Composer</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_BigQuery" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_BigQuery</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Apache_Airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#Apache_Airflow</a>

HabrИнтеграция с ClickHouse: 1С vs Apache Airflow. Плюсы и минусыНа связи Никита Скирдин, программист 1С компании «Белый код». Для BI-аналитики необходимо собирать данные из различных систем в централизованное хранилище. Как правило, перед использованием данных для построения графиков, таблиц и т. д. их необходимо преобразовать. В этой статье расскажу, как решали задачу загрузки данных в централизованное хранилище ClickHouse и реализовали модель ELT (extract load transform), используя сначала 1С, а затем Apache Airflow.<a href="https://habr.com/ru/articles/864088/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/864088/</a><a href="https://zhub.link/tags/1%D1%81" class="mention hashtag" rel="nofollow noopener" target="_blank">#1с</a> <a href="https://zhub.link/tags/apache_airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_airflow</a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#clickhouse</a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%82%D0%B5%D0%B3%D1%80%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#интеграция</a> <a href="https://zhub.link/tags/%D1%81%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#сравнение</a> <a href="https://zhub.link/tags/%D0%BF%D0%BB%D1%8E%D1%81%D1%8B_%D0%B8_%D0%BC%D0%B8%D0%BD%D1%83%D1%81%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#плюсы_и_минусы</a>

:rss: DevelopersIOCloud Composer で DAG パーサーのログを Cloud Logging に出力したい <a href="https://dev.classmethod.jp/articles/cloud-composer-dag-cloud-logging/" rel="nofollow noopener" translate="no" target="_blank">https://dev.classmethod.jp/articles/cloud-composer-dag-cloud-logging/</a><a href="https://rss-mstdn.studiofreesia.com/tags/dev_classmethod" class="mention hashtag" rel="nofollow noopener" target="_blank">#dev_classmethod</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_Cloud_GCP" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_Cloud_GCP</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Cloud_Composer" class="mention hashtag" rel="nofollow noopener" target="_blank">#Cloud_Composer</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Cloud_Logging" class="mention hashtag" rel="nofollow noopener" target="_blank">#Cloud_Logging</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Apache_Airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#Apache_Airflow</a> <a href="https://rss-mstdn.studiofreesia.com/tags/%E5%B0%8F%E3%83%8D%E3%82%BF" class="mention hashtag" rel="nofollow noopener" target="_blank">#小ネタ</a>

:rss: DevelopersIO[アップデート] Amazon MWAAが新しくInvokeRestAPIをサポートし簡単にRest APIが叩けるようになりました <a href="https://dev.classmethod.jp/articles/update-amazon-mwaa-support-invoke-rest-api/" rel="nofollow noopener" translate="no" target="_blank">https://dev.classmethod.jp/articles/update-amazon-mwaa-support-invoke-rest-api/</a><a href="https://rss-mstdn.studiofreesia.com/tags/dev_classmethod" class="mention hashtag" rel="nofollow noopener" target="_blank">#dev_classmethod</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Amazon_MWAA" class="mention hashtag" rel="nofollow noopener" target="_blank">#Amazon_MWAA</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Apache_Airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#Apache_Airflow</a> <a href="https://rss-mstdn.studiofreesia.com/tags/AWS" class="mention hashtag" rel="nofollow noopener" target="_blank">#AWS</a>

:rss: DevelopersIOBigQuery で Airflow DAG のオーケストレーションができるようになりました（Preview） <a href="https://dev.classmethod.jp/articles/bigquery-orchestrate-dags/" rel="nofollow noopener" translate="no" target="_blank">https://dev.classmethod.jp/articles/bigquery-orchestrate-dags/</a><a href="https://rss-mstdn.studiofreesia.com/tags/dev_classmethod" class="mention hashtag" rel="nofollow noopener" target="_blank">#dev_classmethod</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_Cloud_GCP" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_Cloud_GCP</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Cloud_Composer" class="mention hashtag" rel="nofollow noopener" target="_blank">#Cloud_Composer</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Apache_Airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#Apache_Airflow</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_BigQuery" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_BigQuery</a>

:rss: DevelopersIOCloud Composer で Storage Transfer Service の転送ジョブのステータスを監視したい <a href="https://dev.classmethod.jp/articles/cloud-composer-storage-transfer-service-status-sensor/" rel="nofollow noopener" translate="no" target="_blank">https://dev.classmethod.jp/articles/cloud-composer-storage-transfer-service-status-sensor/</a><a href="https://rss-mstdn.studiofreesia.com/tags/dev_classmethod" class="mention hashtag" rel="nofollow noopener" target="_blank">#dev_classmethod</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_Cloud_GCP" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_Cloud_GCP</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Cloud_Composer" class="mention hashtag" rel="nofollow noopener" target="_blank">#Cloud_Composer</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Storage_Transfer_Service" class="mention hashtag" rel="nofollow noopener" target="_blank">#Storage_Transfer_Service</a> <a href="https://rss-mstdn.studiofreesia.com/tags/BigQuery" class="mention hashtag" rel="nofollow noopener" target="_blank">#BigQuery</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Apache_Airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#Apache_Airflow</a>

:rss: DevelopersIO[アップデート] Amazon MWAAがApache Airflow 2.10をサポートしました <a href="https://dev.classmethod.jp/articles/update-amazon-mwaa-support-apache-airflow-210/" rel="nofollow noopener" translate="no" target="_blank">https://dev.classmethod.jp/articles/update-amazon-mwaa-support-apache-airflow-210/</a><a href="https://rss-mstdn.studiofreesia.com/tags/dev_classmethod" class="mention hashtag" rel="nofollow noopener" target="_blank">#dev_classmethod</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Amazon_MWAA" class="mention hashtag" rel="nofollow noopener" target="_blank">#Amazon_MWAA</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Apache_Airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#Apache_Airflow</a> <a href="https://rss-mstdn.studiofreesia.com/tags/AWS" class="mention hashtag" rel="nofollow noopener" target="_blank">#AWS</a>

:rss: DevelopersIOCloud Composer で Dataplex のデータリネージ統合を試してみた　〜カスタムリネージイベント編〜 <a href="https://dev.classmethod.jp/articles/cloud-composer-dataplex-custom-lineage-event/" rel="nofollow noopener" translate="no" target="_blank">https://dev.classmethod.jp/articles/cloud-composer-dataplex-custom-lineage-event/</a><a href="https://rss-mstdn.studiofreesia.com/tags/dev_classmethod" class="mention hashtag" rel="nofollow noopener" target="_blank">#dev_classmethod</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_Cloud_GCP" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_Cloud_GCP</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Cloud_Composer" class="mention hashtag" rel="nofollow noopener" target="_blank">#Cloud_Composer</a> <a href="https://rss-mstdn.studiofreesia.com/tags/BigQuery" class="mention hashtag" rel="nofollow noopener" target="_blank">#BigQuery</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Google_Cloud_Storage" class="mention hashtag" rel="nofollow noopener" target="_blank">#Google_Cloud_Storage</a> <a href="https://rss-mstdn.studiofreesia.com/tags/Apache_Airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#Apache_Airflow</a>

Recent searches

Search options

Administered by:

Server stats:

#apache_airflow