Разработка • dev.to • 17 апреля 2023 г. 11:40

Here is a quick recipe if you are looking to get mwaa-local-runner up and running on your Cloud9 developer setup. This might not be the most optimised way, so I am very happy to received suggestions on how to improve this. What I will cover here is h...... читать далее

opensource aws

Разработка • dev.to • 17 апреля 2023 г. 7:57

April 17th, 2023 - Instalment #153 Welcome Hello and welcome to the AWS open source newsletter, #153 as featured in the latest episode of Build on Open Source (S2E5) . We have lots of great projects for you this week, with a strong chatGPT influen...... читать далее

opensource aws

Разработка • habr.com • 13 апреля 2023 г. 17:41

Как я бы учился Data Engineering в 2023 году (если бы мог начать заново)Начало карьеры в Data Engineering может быть ошеломляющим из-за большого количества инструментов и технологий доступных на рынке.Часто возникают вопросы: "Следует ли мне сначала...... читать далее

Data Engineering Data Mining Big Data SQL Python data engineering roadmap sql python

Разработка • dev.to • 10 апреля 2023 г. 8:53

April 10th, 2023 - Instalment #152 Welcome Hello and welcome to the AWS open source newsletter, #152 an Easter special. This week sees more great new projects including, "redshift-test-drive" a set of essential tools for Amazon Redshift users, "si...... читать далее

opensource aws

Разработка • dev.to • 7 апреля 2023 г. 22:05

I was recently looking at some Stack Overflow questions from the AWS Collective and saw a number of folk having questions about the integration between Amazon Redshift and Managed Workflows for Apache Airflow (MWAA). I thought I would put together a...... читать далее

opensource aws

Разработка • dev.to • 5 апреля 2023 г. 14:45

Data engineering is a field within data science that deals with designing, building, and maintaining the infrastructure and systems that support the collection, storage, processing, and analysis of data. Data engineers work on the technical aspects...... читать далее

Разработка • dev.to • 3 апреля 2023 г. 8:03

April 3rd, 2023 - Instalment #151 Welcome Hello and welcome to the AWS open source newsletter, #151. This week sees more great new projects, including those covered in the latest episode of Build on Open Source, such as "ec2-former2" a way to host...... читать далее

opensource aws

Разработка • dev.to • 27 марта 2023 г. 7:55

March 27th, 2023 - Instalment #150 Welcome Hello and welcome to a milestone edition of the AWS open source newsletter, #150. Over two hundred thousand words later, thousands of contributors, hundreds of new open source projects, I hope this newsle...... читать далее

opensource aws

Разработка • dev.to • 22 марта 2023 г. 19:35

data on eks I have written in the past about how you can get started with Apache Airflow using the AWS managed service, Managed Workflows for Apache Airflow. But what if you want to self managed Apache Airflow? When I speak with developers, there a...... читать далее

opensource aws

Разработка • dev.to • 20 марта 2023 г. 8:41

March 20th, 2023 - Instalment #149 Welcome Hello and welcome to edition #149 of the AWS open source newsletter, the only newsletter on the planet that serves you up a weekly dose of the freshest, latest open source projects on AWS. I hope some of...... читать далее

opensource aws

Разработка • habr.com • 18 марта 2023 г. 21:23

Хочется поделиться опытом преображения одного представления кода в другой с помощью ETL процесса и графовой базы данных на актуальном в наши дни примере. Вкратце есть база на mssql сервере есть хранимые процедуры. Есть база на postgres. Есть ETL пр...... читать далее

Data Engineering Microsoft SQL Server PostgreSQL Python миграция mssql postgresql airflow dag python rdf

Разработка • habr.com • 15 марта 2023 г. 6:52

Если ваша задача заключается в аналитике данных или в машинном обучении, то успех её выполнения зависит от создаваемых вами конвейеров данных и способов их создания. Но даже для опытных дата-инженеров проектирование нового конвейера данных каждый раз...... читать далее

Big Data Data Mining Хранение данных Хранилища данных ETL ELT базы данных хранилища данных data warehouse data lake Extract Load Transform Airflow Matillion Hevo

DevOps • ubuntu.com • 23 февраля 2023 г. 14:10

Open Source MANO (OSM) has announced its thirteenth version which is supported for six months (short-term support). This release targets feature enhancements for VNF vendors residing in the OSM ecosystem. It features new scalable architecture for ser...... читать далее

charmed OSM juju charms lifecycle manager model driven networks network functions OSM Telecommunications

Разработка • habr.com • 22 февраля 2023 г. 18:42

Всем привет! Меня зовут Максим Шептяков, и я занимаюсь продуктовой аналитикой уже больше четырёх лет. Так получилось, что я несколько раз приходил в компании или проекты, где (почти) совсем не было аналитики до меня, так что приходилось настраивать у...... читать далее

Анализ и проектирование систем Data Engineering аналитика etl базы данных система mvp гайд быстро python sql

Разработка • habr.com • 22 февраля 2023 г. 11:06

Хабр, добрый день! Что первое приходит в голову, когда вы слышите “ETL”? Скорее всего airflow?По сути airflow - это стандарт де-факто в мире обработки и трансформации данных. Но в случае если в разработка ведется на java, то тогда придется либо переу...... читать далее

Блог компании OTUS Java spring spring framework spring cloud dataflow

Разработка • dev.to • 20 февраля 2023 г. 13:54

In this short post, I wanted to highlight how you can use a VSCode plugin to work with a local running instance of Apache Airflow to improve the developer experience. This post was inspired by a tweet from Kaxil Naik who was asking about what feature...... читать далее

opensource aws

Разработка • dev.to • 20 февраля 2023 г. 8:05

Feb 20th, 2023 - Instalment #145 Welcome to edition #145 of the AWS open source newsletter. I hope some of you were able to catch the new Build on Open Source show we live streamed last Friday. You can catch up and replay the session by clicking on...... читать далее

opensource aws

Разработка • https://dropbox.tech • 7 февраля 2023 г. 7:00

At Dropbox, we store data about how people use our products and services in a Hadoop-based data lake. Various teams rely on the information in this data lake for all kinds of business purposes—for example, analytics, billing, and developing new featu...... читать далее

validation data lake Airflow MySQL Infrastructure big data hadoop data quality

Разработка • dev.to • 6 февраля 2023 г. 5:12

Feb 6th, 2023 - Instalment #144 Welcome to edition #144 of the AWS open source newsletter, and another week of great new open source projects for you to try out. Some of the treats in store for you this week include "dynamodb-shell", a project that...... читать далее

opensource aws

Разработка • dev.to • 2 февраля 2023 г. 8:30

The data landscape is rapidly evolving, and the amount of data being produced and distributed on a daily basis is downright staggering. According to the report by Statista, currently, there are approximately 120 zettabytes of data in existence (as of...... читать далее

dataops data beginners dataengineering