https://www.europesays.com/fr/15043/ Eutelsat, une alternative crédible à Starlink en Ukraine? – rts.ch #Actualités #AideMilitaire #Économie #ÉconomieEtFinances #ETL #EU #europe #GuerreEnUkraine #InformatiqueEtTélécommunications #internet #News #Satellite #Satellites #Starlink #Ukraine
Как мы сделали одну большую песочницу для всех аналитиков
В мире данных и аналитики, где каждый день генерируются огромные объемы информации, создание единой платформы для работы с данными становится неотъемлемой частью успешной стратегии бизнеса. Мы команда РСХБ.Цифра, в которой я, Кристина Проскурина , руковожу управлением бизнес-анализа данных, а Алексей Кошевой , руководитель отдела развития витрин данных «РСХБ-Интех», руководит разработкой аналитической отчетности и платформы по исследованию данных. В этой статье мы расскажем, как наша команда разработала единую песочницу для аналитиков, которая объединила все инструменты и ресурсы в одном месте, обеспечивая эффективность, удобство и возможность совместной работы. К песочнице
Interested in taking advantage of blazing fast modern data processing technology? 
Take a look at my one-hour deep dive into #DuckDB as an intermediate layer for integrating powerful analytics options into existing business applications.
Looking forward to #DFD2025. What #FLOSS tools do you use to read #CSV files? Any FOSS #ETL tools to copy CSVs to/from databases? Is there a #Free, #OpenSource ODBC driver for connecting to CSV files?
#AskFedi #AskFediverse #DFF
% cargo run <<'EOL' ^ foo str { print $str print $str } foo "hello" EOL Finished `dev` profile [unoptimized + debuginfo] target(s) in 0.01s Running `target/debug/etl` hello hello #etl
Today in #metadata #librarian land I finally fucking solved the character encoding issue!!!! Fuck Windows, fuck Excel, and fuck Java based programs that require you open via command line to add a utf-8 flag because the GUI just takes Windows latin, and while we’re at it fuck character encoding work up the bit level nose. IYKYK #datamigration #ETL I get Smithwicks and edibles to celebrate
Повышение эффективности аналитических баз данных: кейс «Комус» и Arenadata
Хабр, привет! Современные высоконагруженные системы требуют точной настройки и регулярного мониторинга, чтобы обеспечить стабильную производительность в условиях постоянно растущих объёмов данных. Когда речь идёт о крупной аналитической базе данных, развёрнутой в облачной среде, оптимизация её работы становится критически важной задачей. В прошлой статье мы уже рассказывали о типичных ошибках при работе с Arenadata DB (ADB), о том, как их избежать и значительно повысить производительность кластера. Сегодня же поделимся реальным опытом на примере компании «Комус» — лидера в области B2B-ритейла, которая обратилась к Arenadata за проведением комплексного аудита своего кластера ADB. В этой статье мы детально разобрали, как с помощью анализа и оптимизации удалось выявить точки роста, подготовить кластер к текущим и будущим нагрузкам и предложить план улучшений. Мы рассмотрим технические детали аудита, проблемы, с которыми пришлось столкнуться, и эффективные практики, позволившие повысить производительность аналитической базы данных. Что там с нагрузкой на кластер?
Работа с библиотеками, которые не установлены в Airflow
Данные библиотеки можно использовать при работе со SparkOperator: 1. Создание виртуального окружения с необходимыми библиотеками 2. Создание задачи в даге и установка окружения в SparkSubmit
I did some benchmarks on the ETL flow, an Elixir Broadway pipeline outperformed the collection of tiny Go services I thought would be more efficient. Also, OTP tooling around processes and state greatly simplified the topology of the final setup.
We Are Hiring!
Job Role: ETL Tester
Experience: 4 to 7 Years
Budget: Up to 24 LPA
Location: Bangalore (Hybrid – 3 days WFO)
Address: Bhartiya City, Thanisandra Main Rd, Bengaluru, Karnataka
Notice Period: Immediate Joiners Only
Please share your updated resume at
bhavikas@overturerede.com
WhatsApp number 74286 94900
Apply now
https://zurl.co/IeK73
We Are Hiring!
Position: Data Engineer
Location: Remote or Gurgaon, Bangalore & Nagpur
Experience: 8 to 14 Years
Notice Period: Serving within 30 days
Submit your CV: bhavikas@overturerede.com
Contact: +917428694900
Apply now
https://zurl.co/IeK73
A relire : Transformez vos données avec DataMonkey
https://blog.shevarezo.fr/post/2019/04/03/transformer-donnees-datamonkey
An analysis of 100 Fortune 500 job postings reveals the tools and technologies shaping the data engineering field in 2025. Top skills in demand:
⁕ Programming Languages (196) - SQL (85), Python (76), Scala (14), Java (14)
⁕ ETL and Data Pipeline (136) - ETL (65), Data Integration (46)
⁕ Cloud Platforms (85) - AWS (45), GCP (26), Azure (14)
⁕ Data Modeling and Warehousing (83) - Data Modeling (40), Data Warehousing (22), Data Architecture (21)
⁕ Big Data Tools (67) - Spark (40), Big Data Tools (19), Hadoop (8)
⁕ DevOps, Version Control, and CI/CD (52) - Git (14), CI/CD (13), DevOps (7), Version Control (6), Terraform (6)
...
#DataEngineering #BigData #SQL #Python #ETL #AWS #CloudComputing #Spark #DataModeling #DataWarehouse #DevOps #DataGovernance #DataVisualization #MachineLearning #API #Scala #Java #GCP #Azure #Hadoop #Git #CICD #Terraform #DataQuality #Tableau #PowerBI #Collaboration #Microservices #MLOps #TechSkills
Как перевести банковский продукт в realtime
Частая история: приходит пуш-уведомление от банка, что вам одобрено классное предложение. Причём это уже десятое сообщение за пару месяцев, и никакое оно для вас не важное и не классное. Тизер: да, мы будем говорить о цифровом маркетинге в реальном времени от финансовых организаций — кредит, ипотека, депозит. Научим, как сделать так, чтоб клиент получал своевременные и выгодные предложения, а не спам. Привет, Хабр! Это Владимир Ловцов и Владимир Аврамов из «ИТ-холдинга Т1». И мы расскажем о формировании офферов финансовых продуктов в realtime. Поехали!
bnkSEPA is an engine that takes a Microsoft Excel spreadsheet and converts into a format that will be processed by the Financial Institution. This video explains how to set it up.
Dagster: новый стандарт для ETL в 2025?
Мы живем в век данных и data-driven подхода. Есть продуктовые компании, где даже минимальные изменения в продукте обязаны пройти A/B-тест перед релизом (который из-за этого может и не состояться). С бумом данных и AI произошел и бум ETL (Extract, Transform, Load) инструментов. Сейчас, в 2024 году, выбор действительно впечатляет, даже если ограничиться только open source-решениями:
TROCCO®のSelf-Hosted Runner（β版）がトライアルできるようになったので、最速で触ってみる（on Windows PC）
https://qiita.com/SoySoySoyB/items/d3e32b3e3a627f94ca5e?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items
DataTalksClub's Data Engineering Zoomcamp Workshop 1 - dlt pipelines
This optional workshop introduced us to dlt for easier data loading from/to various sources (e.g. various hosted DBs, APIs, cloud services, etc).
For those who want to follow the XDG spec, you can set "DLT_DATA_DIR=$XDG_DATA_HOME/dlt" to make dlt comply with it.
My answers to the workshop: https://github.com/goosethedev/de-zoomcamp-2025/tree/9b50dec0c5897efe8d2cc87851c28162472127b1/w1-dlt-workshop
About the bootcamp: https://github.com/DataTalksClub/data-engineering-zoomcamp
This is a processing plugin to:
copy features from one layer to another, or
update existing features based on a source layer.
The plugin comes with 2 handy models for building 
Qiita - 人気の記事 
