Разработка • dev.to • 11 мая 2024 г. 13:28
Artificial intelligence and its potential to generate business value date back to the 1950s, yet the level of excitement since the release and viral spread of ChatGPT in late 2022 gives the impression that the translation of AI capabilities into prof...... читать далее
ai strategy guideРазработка • The Cloudflare Blog • 7 мая 2024 г. 13:00
Work on LLVM has enabled Fortran to compile to WebAssembly. So, today, we’re writing about running Fortran code on Cloudflare Workers... читать далее
Fortran Developer Platform Developers Cloudflare WorkersРазработка • habr.com • 7 мая 2024 г. 8:03
Airflow в Lamoda Tech играет роль оркестратора процессов обработки данных. Ежедневно с его помощью мы запускаем 1 800+ тасок на проде, примерно половина из которых являются Spark-приложениями.Все Spark-приложения сабмитятся из Docker-контейнеров. И з...... читать далее
apache airflow spark hocon docker data engineering big data pythonРазработка • dev.to • 3 мая 2024 г. 18:34
In my day to day work one of the most common use cases for Apache Airflow is to run hundreds of scheduled BigQuery SQL scripts. Developers who start with Airflow often ask the following questions How to use airflow to orchestrate sql? This post ai...... читать далее
airflow bigquery dataengineering sqlРазработка • habr.com • 25 апреля 2024 г. 10:27
В статье описывается практическое применение популярных Open-Source технологий в области интеграции, хранения и обработки больших данных: Apache NiFi, Apache Airflow и Greenplum для проекта по аналитике учета вывоза отходов строительства.Статья полез...... читать далее
данные в компании хранилище хранение данных хранилище данных airflow greenplum nifi bigdataРазработка • habr.com • 25 апреля 2024 г. 9:08
Меня зовут Дмитрий Курганский, я Tech Lead команды MLOps в Банки.ру. Мы работаем над тем, чтобы грамотно организовать и ускорить этапы жизненного цикла ML. В этой статье поделюсь нашим опытом применения Embedding: от запуска Яндекс Data Proc кластера...... читать далее
машинное обучение yandex cloud apache airflow python Yandex Data ProcРазработка • dev.to • 15 апреля 2024 г. 15:08
Data engineers today face the formidable task of managing increasingly complex data pipelines. With data pouring in from diverse sources and the demand for real-time insights growing, ensuring smooth and efficient data workflows is crucial. This is w...... читать далее
python learning coding interviewРазработка • habr.com • 15 апреля 2024 г. 12:56
Привет, Хабр!Мы в билайне любим машинное обучение. В какой-то момент моделей машинного обучения стало так много, что это вынудило нас решать определенные задачи. Я Дмитрий Ермилов, руковожу ML в дирекции по искусственному интеллекту и больш...... читать далее
OMD большие данные big data машинное обучение Mlflow airflowРазработка • dev.to • 15 апреля 2024 г. 2:05
Edition #195 Welcome to issue #195 of the AWS open source newsletter, the newsletter where we try and provide you the best open source on AWS content. This week I am heading out to Everything Open, and looking forward to meeting the community in Gl...... читать далее
opensource awsРазработка • dev.to • 14 апреля 2024 г. 9:43
“ I have checked the documents of AWS to deep dive on amazon managed workflows for apache airflow using cloudformation. It’s easy to use airflow UI with the python script in dag. The Pricing is based on services usage.” AWS CloudFormation is a servi...... читать далее
amazonmwaa s3 cloudformation cloudwatchРазработка • dev.to • 11 апреля 2024 г. 9:37
As we navigate through 2024, the landscape of data engineering and science continues to evolve at a breakneck pace. With advancements in AI technology come new challenges, and professionals in these fields are grappling with a unique set of challenge...... читать далее
datascience python dataengineering dataРазработка • habr.com • 9 апреля 2024 г. 12:09
Один из важнейших инструментов в моей работе — дашборд с данными о прибылях и убытках компании P&L (он же БДР, он же отчет о финансовых результатах). Он помогает контролировать рентабельность бизнеса, эффективность отделов компании, прогнозироват...... читать далее
dwh дашборд дашборды в компании grist apache airflow metabase sql pnl p&lРазработка • habr.com • 9 апреля 2024 г. 12:09
Привет! Меня зовут Александр Ежков, я Backend-разработчик в AGIMA. Занимаюсь созданием и поддержкой внутренних сервисов для компании. А конкретно сейчас — нашей DWH-системой. Мы построили ее из Open-source продуктов. В этой статье расскажу, какие про...... читать далее
dwh grist airflow metabase psql pnl дашбордРазработка • kv.by • 9 апреля 2024 г. 11:12
В конце прошлого года компания IDF Technology запустила новое направление в проекте по подготовке начинающих IT-специалистов Laboratory 2.0 – работа с обучением, он же углубленный онбординг для Data-инженеров. Сегодня шесть джуниоров уже присоединили...... читать далее
Разработка • habr.com • 3 апреля 2024 г. 16:52
После того, как я научился запускать spark-submit с мастером в Kubernetes и даже получил ожидаемый результат, пришло время ставить мою задачу на расписание в Airflow. И тут встал вопрос, как это правильно делать. Во всемирной паутине предлагается нес...... читать далее
spark airflow оркестрацияРазработка • habr.com • 3 апреля 2024 г. 8:59
Всем привет! Случались ли у вас ситуации, когда количество DAG’ов в вашем Airflow переваливает за 800 и увеличивается на 10-20 DAG’ов в неделю? Согласен, звучит страшно, чувствуешь себя тем героем из Subway Surfers… А теперь представьте, что эта плат...... читать далее
Аналитика python data engineering apacheРазработка • habr.com • 26 марта 2024 г. 18:21
Хочу написать небольшую серию постов о том, как я автоматизировала или ставила на конвейер какие-то процессы, с разной степенью успешности, из личного и рабочего опыта. По функционалу это Python, SQL с привлечением Airflow, гитлаба и других стандартн...... читать далее
аналитика данных автоматизация рутины автоматизация отчетыРазработка • dev.to • 11 марта 2024 г. 9:46
Edition #192 Welcome to issue #192 of the AWS open source newsletter, the newsletter where we try and provide you the best open source on AWS content. As always, this week we start with a round up of some freshly baked new projects for you to prac...... читать далее
opensource awsБезопасность • DZone Security • 8 марта 2024 г. 16:00
The modern data stack represents the evolution of data management, shifting from traditional, monolithic systems to agile, cloud-based architectures. It's designed to handle large amounts of data, providing scalability, flexibility, and real-time pro...... читать далее
Разработка • dev.to • 5 марта 2024 г. 12:56
In a scale-up like Check Technologies data not only grows, but it grows faster too. It was merely a matter of time before our data processes would run into resource limitations. Reason enough to find a more performant solution. Interestingly, the act...... читать далее
polars dataengineering rust airflow
