Разработка • habr.com • 25 июня 2021 г. 6:50

При масштабной работе с Apache Kafka вы рано или поздно столкнетесь с проблемой доступного дискового пространства, темпами роста тем или общими вопросами использования диска. Это особенно актуально при работе с внешними источниками - вне вашего прямо...... читать далее

Блог компании Cloudera Big Data Визуализация данных Хранилища данных Data Engineering cloudera kafka kudu bigdata tableau impala

Разработка • habr.com • 20 июня 2021 г. 11:34

Всем привет! Меня зовут Александр и я пишу код для 2ip.ru. За добрую половину сервисов можно пинать меня, готов отбиваться. Cегодня я хочу немного рассказать про переделку одного нашего старого сервиса. Это конечно не "big data", но всё равно довольн...... читать далее

Высокая производительность Разработка веб-сайтов MySQL Go Big Data go mysql linux партиционирование bigdata краулинг 2ip.ru

Разработка • dev.to • 19 июня 2021 г. 23:25

While designing a scalable system, one of the most important aspects is defining how the data will be partitioned and replicated across servers. Let's first define partitioning and replication so that we are on the same page. Data partitioning: It...... читать далее

distributedsystems bigdata career architecture

Разработка • dev.to • 19 июня 2021 г. 5:34

Disclosure: This post includes affiliate links; I may receive compensation if you purchase products or services from the different links provided in this article. Hello guys, if one of your goals is to learn Big data in 2021 but you are not sure whe...... читать далее

java bigdata spark programming

Разработка • habr.com • 16 июня 2021 г. 15:31

Когда в X5 Group начали развивать BigData, то помимо самой DMP платформы и BI-аналитики, в компании стали активно запускать цифровые продукты, построенные на основе  больших данных, использующие сложную аналитику и машинное обучение. Для примера...... читать далее

Блог компании X5 Retail Group Python Big Data Карьера в IT-индустрии Data Engineering data data science data engineer дата саентист дата сайенс python data quality software engineering data analyst data analysis

Разработка • habr.com • 15 июня 2021 г. 7:10

Паша Финкельштейн — разработчик, серийный спикер, автор и ведущий нескольких подкастов. На конференции Java Meeting Point он сделает доклад «Spark: let's touch it», на котором познакомит участников с миром больших данных. В этом интервью Паша ра...... читать далее

Блог компании DINS Java Big Data Конференции Интервью java конференция bigdata spark интервью

Разработка • dev.to • 11 июня 2021 г. 4:22

With colossal data serving as the lifeblood of organizations, the value placed on data cannot be adequately expressed in words. Data has risen to prominence in virtually every field imaginable over the years. This is why everyone aspires to work in...... читать далее

datascience bigdata

Разработка • habr.com • 8 июня 2021 г. 18:23

Привет, Хабр! Команда ВТБ запустила серию подкастов о передовых решениях финтеха «Деньги любят техно». Журналист, технологический обозреватель Марина Эфендиева будет обсуждать с экспертами банка, рынка, учеными и бизнесменами перспективы и сложности...... читать далее

Блог компании ВТБ Big Data Искусственный интеллект Финансы в IT Data Engineering data science подкасты bigdata финтех кибербезопасность искусственный интеллект защита данных

Разработка • dev.to • 8 июня 2021 г. 6:04

In this article, we explore how scraping LinkedIn data can lead to a significant competitive edge in business intelligence for any company. Introduction to Open Web, External Data In an era of digitization, data is becoming the core comp...... читать далее

bigdata webscraper datascraper linkedin

Разработка • dev.to • 7 июня 2021 г. 14:37

This post was originally published in adityasridhar.com In this article we will see how kafka can be setup without using zookeeper. We will setup a 3 node kafka cluster and create a test topic. We will use a kafka producer to produce data into the t...... читать далее

kafka tutorial beginners bigdata

Разработка • habr.com • 2 июня 2021 г. 16:19

Представьте, что вы, например, bitly — то есть очень большой сервис сокращения ссылок. И вот, вы хотите скопировать свои 150 ТБ сжатых данных с одного физического кластера на другой, новый. Чтобы сделать это, вы запускаете distcp из набора инструмен...... читать далее

Блог компании SkillFactory Настройка Linux Сетевые технологии Big Data DevOps skillfactory bigdata devops hadoop сеть контроль трафика linux tc сетевые технологии кластеры

Разработка • dev.to • 1 июня 2021 г. 18:51

Big data has been growing as topic for a while now and it is obvious that data is powerful. Data is indeed the new oil. Any business out there is investing in data research. There are many terms nowadays that describe data and how it is organized. A...... читать далее

aws terraform awsdatalake bigdata

Разработка • habr.com • 31 мая 2021 г. 15:16

Внимание! Если данная статья наберет 1000 положительных голосов, то я организую хакатон по алготрейдингу с ценными призами.Предыдущая статья о "Расчете дневного изменения цены" тут: https://habr.com/ru/post/559654/Когда я писал прошлую статью (она бы...... читать далее

Python Алгоритмы Big Data Финансы в IT алготрейдинг алгоритмы python bigdata анализ данных временные ряды торговые роботы торговые стратегии торговля на бирже северсталь

Разработка • dev.to • 25 мая 2021 г. 22:39

Preface ​ If you’re a MySQL DBA or a developer that deals with MySQL instances daily, it will probably not come as a surprise if you hear that you should not run big data sets on MySQL. Ask almost any MySQL DBA, and you will hear something like: ​...... читать далее

database mysql bigdata innodb

Разработка • dev.to • 9 мая 2021 г. 8:07

When you have large volumes of data, storing it logically helps users discover information and makes understanding the information easier. In this post, we talk about some of the techniques we use to do so in our application. In this post, we are go...... читать далее

datascience bigdata spark s3

Разработка • dev.to • 7 мая 2021 г. 8:58

Access management is an essential part of every cloud infrastructure. You cannot have an efficient cloud infrastructure without compartmentalizing access to cloud resources. Good access management is also the key element to good information security...... читать далее

dataaccess bigdata informationsecurity cloudresources

Разработка • dev.to • 6 мая 2021 г. 19:24

Running out of memory is not fun. Unfortunately, when working with larger datasets its bound to happen at some point. For example, I tried to run a Django management command that updated a value on a model with a large amount of rows in the datab...... читать далее

django bigdata python

Разработка • Tech blog from Groupon Engineers • 6 мая 2021 г. 18:09

Pinion — The Load FrameworkAuthor: Saurabh JainEngineering Team: Amardeep Kumar Gupta, Prabhu Thiruvambalam & Suresh AppavuIn January 2020, one of the highest priority projects for the Data Engineering team was to migrate Groupon’s on-prem system...... читать далее

delta-lake spark big-data-pipeline aws snowflake

Разработка • dev.to • 3 мая 2021 г. 7:31

Acessibilidade na Internet significa que pessoas com deficiência, dificuldades motoras ou cognitivas, também possam, com autonomia e segurança, utilizar a web, tendo acesso à informação e à interação, podendo entender, navegar, interagir e contribuir...... читать далее

acessibilidade web site internet

Безопасность • DZone Security • 30 апреля 2021 г. 22:00

Cybersecurity remains a persistent threat to both individuals and businesses, with data privacy concerns increasing for 86% of companies in 2020 and just 23% of consumers believing their personal data is very secure. As malware becomes steadily more...... читать далее

bigdata cybersecurity machinelearning deeplearning artificialintelligence vector embeddings