Shows
![Engenharia de Dados [Cast]](https://storage.buzzsprout.com/v7qzur7v7za3jq4iq6c85bar3t0x?.jpg)
Engenharia de Dados [Cast]The Data Engineering & GenAI Era: Insights with Eduardo OrdaxO Impacto da IA Generativa no Presente e Futuro dos DadosPrepare-se para uma conversa de altíssimo nível sobre como a Inteligência Artificial Generativa está transformando o mundo dos dados, das empresas e das carreiras. Neste episódio, Luan Moreno recebe Eduardo Ordax, Líder de IA Generativa na AWS, e Mateus Oliveira para discutir, sem rodeios, os impactos reais da IA no mercado.O que você vai aprender neste episódio:Como a IA Generativa está mudando a forma como construím...2025-06-2355 minEngenharia de Dados [Cast]Como é Trabalhar com Apache Spark na Visão de uma Engenharia de Dados InicianteNo episódio de hoje Mateus Oliveira entrevistou Ananda Ellen (Engenharia de Dados), Leonardo Côco e Victor Grutner, integrantes do time de dados da One Way Solution.Spark e Engenharia de Dados para Iniciantes, são tópicos extremamente relevantes nos dias de hoje, afinal, todos nós fomos iniciantes um dia.Nesse bate-papo conversamos sobre quais desafios e conquistas temos durante o aprendizado de Apache Spark.Não somente isso, falamos também sobre a área de Analytics na visão do Leonardo...2024-05-291h 03Engenharia de Dados [Cast]O Dia a Dia de um Analytics Engineer com o Time de Dados da ClicksignNo episódio de hoje Mateus Oliveira entrevistou Alessandro Gums (Analytics Engineer), Bruno Bento (Analytics Engineer) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign. Analytics Engineer se tornou uma grande thread do mercado e também uma necessidade nas empresas de hoje. fazer o split das responsabilidades de uma determinada área é comum e isso tinha que acontecer na engenharia de dados, devido a complexidade dos processos e necessidades de especialistas.Neste bate papo iremos falar sobre:Analytics EngineerMo...2024-03-2750 minEngenharia de Dados [Cast]O Dia a Dia de um Arquiteto e Engenheiro de Dados com o Time de Dados da ClicksignNo episódio de hoje, Mateus Oliveira entrevistam Franklin Ferreira (Arquiteto de Dados) e Vinicius Gasparaini (Engenheiro de Dados), ambos integrantes do time de dados da Clicksign.Arquitetura de Dados & Engenharia de Dados, são áreas que estão ganhando muita tração nos últimos anos, entender como elas funcionam dentro de uma empresas data-driven é, não só um dos melhores metódos de estudo de mercado, como também escolha de qual caminho seguir.Neste bate papo iremos falar sobre:Arquiteturas de DadosEngenharia...2024-03-1356 minEngenharia de Dados [Cast]Data Analytics com o Time de Dados da ClicksignNo episódio de hoje, Leonardo Souza & Mateus Oliveira entrevistam Filipe Mubarac (Analista de dados), Acácio Komesu (Analista de BI), Levi de Carvalho (Analista de Dados) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados e analytics da Clicksign.Data Analytics sempre foi um das principais áreas dentro de uma empresa. Nos últimos anos, com certeza, passou de uma área de apoio a tomada de decisão a uma área core da empresa, pois o mundo hoje é data-driven, e tornou-se uma questão compet...2024-03-061h 14Engenharia de Dados [Cast]Desafios na Construção de uma Plataforma de Dados no Kubernetes com o Time do OrionNo episódio de hoje, Luan Moreno & Mateus Oliveira entrevistam o time do Orion da One Way Solution.Plataforma de Dados no Kubernetes é um dos tópicos mais pedidos para falarmos aqui no Podcast, principalmente para quem tem a necessidade de uma plataforma agnóstica a cloud e de baixo custo.Neste bate papo iremos falar sobre:Nas trincheiras da consultoria;Aprendendo Kubernetes;Plataforma de Dados no Kubernetes.Esse podcast tem como principal objetivo mostrar os desafios de criar uma plat...2024-02-2757 minEngenharia de Dados [Cast]Gestão & Produtos de Dados com o Time de Dados da ClicksignNo episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram Thiago Rocha (Scrum Master), Marco Coimbra (Data Product Manager), José Ivamotto (Head de Dados) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign.Gestão & Dados com Produto são tópicos extremamente relevantes nos dias de hoje.Falar sobre dados sem se preocupar com a gestão, pode trazer impactos negativos às entregas envolvendo dados nas organizações.Além disso, entender como as empresas vem produzindo...2024-01-251h 08Engenharia de Dados [Cast]Challenge in Bulding an Open-Source Community with Aaron WilliamsNo episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Aron Willians, atualmente como Community Manager/ Developer Advocate na Ampare. Aaron é apaixonado por trazer novas tecnologias para desenvolvedores atuais e para a próxima geração, por meio de hacking e treinamento prático. Neste podcast, você vai aprender sobre: Desafios na construção da comunidade de código aberto; Visão gerencial de comunidades de dados;Empresas que estão investindo no impulsionamento do Pulsar.Falamos também nesse bate-papo sobre os seguintes temas:Tecno...2023-11-211h 18Engenharia de Dados [Cast]O Desafio da Engenharia de Dados no iFood com o Diretor de ML e Engenharia, Ivan LimaNo episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Ivan Lima, atualmente Director of Machine Learning & Data Engineering no Ifood.Ifood é uma das maiores empresas do Brasil e, claro, leva o assunto sobre dados muito a serio. Imagine receber diversos dados do aplicativo, além de possuir várias sessões analíticas e dados em alto volume.Neste podcast, conversamos sobre:Desafios na área de dados de grandes corporações;Visão gerencial.Falamos também sobre os seguintes temas:Mercado d...2023-10-311h 00Engenharia de Dados [Cast]The Data Lakehouse Paradigm with Bill Inmon - The Father of Data WarehouseNo episódio de hoje, Luan Moreno, Mateus Oliveira e Orlando Marley entrevistam Bill Inmon, criador do conceito de Data Warehouse e escritor de diversos livros com temáticas voltadas para dados.Data Warehouse é o conceito de centralização de dados analíticos das organizações, de forma estruturar um visão 360° do business. Neste episódio, você irá aprender: Diferenças entre OLTP e OLAP;Histórico dos dados para tomada de decisão;Criar um processo resiliente para entender os fatos dos dados.Falamos também, neste ba...2023-10-1243 minEngenharia de Dados [Cast]Querying Data with Trino from Earth to Space - Talk with Brian Olsen, a Developer Advocate at StarburstNo episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Brian Olsen, atualmente Head of Developer Relations na Tabular.Trino é um produto open-source, para virtualizar os dados através de queries. Imagine uma engine de SQL capaz de consultar dados do Apache Kafka, Cloud Storage, Databases e diversas outras fontes de forma simples e extremamente eficaz. Com Trino, você tem os seguintes benefícios:Diversos conectores para múltiplas fontes de dadosGerar queries analytics de forma simples e eficazTrabalhar com modelos de Lakehouse como Iceber...2023-10-091h 37Engenharia de Dados [Cast]A Day in a Life of a Founding Engineer at StarTree: Apache Pinot with Neha PawarNo episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Neha Pawar, atualmente Founder Engineer na StarTree.Apache Pinot é um banco de dados OLAP de baixa latência, que foi desenvolvido para queries analíticas dentro do Linkedin.O objetivo é resolver um dos problemas que tecnologias como o Apache Kafka não resolvem, consultar bilhões de eventos com performance e baixa latêcia . Com Apache Pinot, você tem os seguintes benefícios: Al...2023-07-261h 09Engenharia de Dados [Cast]Simplificando Projetos de Analytics utilizando dbt e Modern Data Stack com Matheus Willian, Head of Data Engineering na One Way SolutionNo episódio de hoje, Luan Moreno e Mateus Oliveira conversam com Matheus Willian, atualmente Head de Engenharia de Dados na One Way Solution.dbt é uma das tecnologias mais faladas e utilizadas fora do país, possibilitando aos times de todos os portes trabalhar com o conceito de Modern Data Stack, tornando o desenvolvimento de transformações dos dados de forma simples e com SQL.Com dbt, você tem os seguintes benefícios:Desenvolvimento de pipeline de dados usando SQL...2023-07-041h 23Engenharia de Dados [Cast]Conferência Kafka Summit 2023 LondonNo episódio de hoje, Luan Moreno e Mateus Oliveira conversam sobre a participação no Kafka Summit London 2023. Kafka Summit é uma das maiores conferências de tecnologia do mundo, onde empresas de tecnologias de streaming anunciam novidades e podemos entender mais sobre como as elas estão usando estas tecnologias no dia a dia.Na conferência tivemos 3 momentos:Keynote - (Anúncios);Vendor Hall - (Onde os patrocinadores ficam); Sessions - (Salas que os palestrantes fazem suas apresentações).Falamos também nesse bate-papo sobre os seguintes...2023-06-2758 minEngenharia de Dados [Cast]Cloudera CDP & Stream Processing para Real-Time Analytics com André Araújo, Field Engineer, Data in Motion na ClouderaNo episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram André Araújo , atualmente como Field Engineer, Data in Motion na Cloudera.CDP é uma Plataforma de Dados Enterprise Cloudera, com foco na versatilidade em casos de uso como Streaming Platform, possuindo tecnologias como Apache Kafka e Apache Flink .Com CSP, você tem os seguintes benefícios: Apache Kafka - Plataforma de armazenamento de Streaming de Dados líder de mercado;Apache Flink - Plataforma de Processamento de Dados...2023-06-2258 minEngenharia de Dados [Cast]Connecting Data Engineering and ML to Build an Efficient End-to-End Data Product Flow with Aurimas GriciūnasNo episódio de hoje, Mateus Oliveira e Matheus Willian entrevistaram Aurimas Griciūnas, atualmente Fundador e CEO da Swirl AI & Arquiteto Sênior de Soluções da neptune ai.Engenharia de Dados e Ciência de Dados são, hoje, as áreas de maior demanda no mercado internacional e nacional.O primeiro, cria soluções para disponibilização de dados da melhor forma e o segundo, cria algoritmos de predição para aprimorar e automatizar decisões.Para melhor entender a relaç...2023-06-151h 03Engenharia de Dados [Cast]Dremio & Iceberg for Building an Open-Source Data Lakehouse with Dipankar Mazumdar, Data Advocate at DremioNo episódio de hoje, Luan Moreno, Mateus Oliveira e Antony Lucas entrevistaram Dipankar Mazumdar, atualmente como Data Advocate na Dremio.Dremio é uma das mais conhecidas tecnologias de Self-Service SQL Analytics de mercado, unificando a visão dos dados e utilizando a lingua franca de dados: o SQL. Alinhado com o Apache Iceberg, o Dremio traz a proposta de ser um Open Data Lakehouse. Com Apache Iceberg, você tem os seguintes benefícios:Compactação de Dados;T...2023-06-061h 13Engenharia de Dados [Cast]Simplify Data Engineering Projects in Your Lakehouse with Delta Lake Framework with Matthew Powers & Denny Lee, Developer Advocates at DatabricksNo episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Denny Lee & Mathew Powers, atualmente Developer Advocates na Databricks.Delta Lake é um produto open-source, que nos permite aplicar o famoso Data Lakehouse {Data Lake + Data Warehouse}, desenvolvido pela empresa dos criadores do Apache Spark. Delta Lake resolve o problema do Apache Spark, armazenamento, processamento de dados no Data Lake de forma otimizada.Com Delta Lake, você tem os seguintes benefícios...2023-05-231h 12Engenharia de Dados [Cast]Spark on Kubernetes [SPOK] with Hudson Buzby, Solutions Architect at Spot.ioNo episódio de hoje, Luan Moreno, Mateus Oliveira & Tiago Xavier entrevistaram Hudson Buzby, atualmente como Arquiteto de Soluções na Spot by NetApp. SPOK ou Spark Operator on Kubernetes, é o deployment para Apache Spark que utiliza um Operator de Kubernetes para melhor gerenciar os drivers e executors usando Kubernetes como infraestrutra escalável. Com SPOK, você possui os seguintes benefícios:Melhor utilização de recursos escaláveis.Infraestrut...2023-05-111h 24Engenharia de Dados [Cast]SQLMesh | Streamlining Python & SQL Transformations with Tobias Mao, Co-Founder & CTO at Tobiko DataNo episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram Tobias Mao, atualmente como Co-Founder e CTO na Tobiko Data.SQLMesh é um framework desenvolvido em Python para automatizar tudo que se faça necessário para uma plataforma de dados escalável utilizando o conceito de DataOps.Com SQLMesh, você possui os seguintes benefícios:Foco nos dados do negócio, usando DataOps como premissa principal. Foco em escalabilidade sem se preocupar com seu Data Warehouse ou Engine de Query.Nosso bate papo...2023-05-0444 minEngenharia de Dados [Cast]O Poder do Lineage de Dados com Lucas Galindo & Gabs Ferreira da AlvinNo episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Lucas Galindo Data Engineer/Software Engineer & Gabs Ferreira Community Builder, ambos trabalhando na Alvin.A solução Alvin cria e mantém automaticamente um conjunto de dados de gráfico conectando em fontes de dados, como Snowflake, Redshift, dentre outros entregando uma solução da Data Lineage robusta.O Alvin oferece os seguintes benefícios:Uma maneira automatizada de detectar e rastrear erros/bugsdo pipeline, reduzindo o...2023-04-1955 minEngenharia de Dados [Cast]Kafka on Kubernetes using Strimzi with Jakub Scholz, Senior Principal Software Engineer at Red HatNo episódio de hoje, Mateus Oliveira entrevistou Jakub Scholz, atualmente como Senior Principal Software Engineer na Red Hat.Strimzi é um Kubernetes Operator para deployment de Apache Kafka, modular e versátil para ambientes de todos os portes, open-source.Com Strimzi, você tem os seguintes benefícios:Apache Kafka no KubernetesElasticidade do seu deploymentExtensibilidade do seu produto com Apache KafkaFalamos também nesse bate-papo sobre os seguintes temas:Apache KafkaNovas features do StrimziComunidadeAprenda como utilizar o Strimzi, Apache Kafka no Kubern...2023-04-041h 14Engenharia de Dados [Cast]A Day in a Life of Data Engineer at Netflix with Xinran WaibelNo episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Xiran Waibel, atualmente engenheira de dados Sênior na Netflix.A Engenharia de Dados é um das profissões que estão em alta no mercado de trabalho, mas entender como funciona é algo que até hoje as empresas tem dificuldades.Engenharia de Dados engloba:Entendimento de novas tecnologias orientadas a Big DataTrabalhar com soluções de dados que resolvem problemas de negócioConstruções de pipelines de dados resilientes e escaláveisFalamos também nesse bate-papo sobre os seguintes temas:Engenharia de...2023-03-271h 31Engenharia de Dados [Cast]Mastering Apache Airflow with Marc Lamberti, Head of Customer Education at AstronomerNo episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Marc Lamberti, atualmente como Head of Customer na Astronomer.Vamos entender o Apache Airflow em um nível mais avançado para aplicar soluções para problemas de dados no dia-a-dia, visando melhores práticas. Abaixo alguns pontos sobre técnicas avançadas de Apache Airflow:Executar pipelines do Airflow com acesso imediato aos recursos mais recentes. Reduzir o consumo de infraestrutura para tarefas de longa duração.Reduzir latência de tarefa com...2023-03-1745 minEngenharia de Dados [Cast]ETL no Airflow de Forma Inteligente e Escalável usando Astro Python SDK com Tatiana Martins, Staff Software Engineer na AstronomerNo episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Tatiana Al-Chueyr Martins, atualmente como Engenheira de Software na Astronomer. O Astro Python SDK é um SDK desenvolvido em Python Open-Source criado pela Astronomer, empresa que acelera o Apache Airflow, para tornar simples o processo de ETL. Astro Python SDK oferece os seguintes benefícios:Operações de ETL com Operadores para Abstração de ComplexidadeCarga de Dados de Forma Escalável e Eficiente (Native Transfers)Transformações Utilizando...2023-02-151h 21Engenharia de Dados [Cast]Databricks como Plataforma de Lakehouse para Times de DadosNesse episódio Luan Moreno & Mateus Oliveira entrevistam Rodrigo Oliveira, atualmente como Arquiteto de Solução na Databricks.Databricks é uma plataforma de linguagem unificada que tem como motor de processamento o Apache Spark, possibilitando o processamento de dados em batch e streaming em um serviço gerenciado presente nas principais nuvens (AWS, Azure e GCP).Além disto, o Databricks proporciona:Experiência de Notebook AvançadaWorkspace para Times de DadosCriação de Clusters para o seu Use-CasePlatafor...2023-02-071h 10Engenharia de Dados [Cast]Confluent Community Catalysts Brazukas: Dissecando o Apache Kafka [Round 1]Nesse episódio Luan Moreno & Mateus Oliveira entrevistam João Bosco, atualmente como Software & Solution Strategist no Nubank e Marcelo Costa, atualmente como Head of IT na Cia. Hering. Ambos os convidados e apresentadores são Confluent Community Catalysts.Confluent Community Catalysts são profissionais que investem seu tempo em divulgar, contribuir seja no código, ou respondendo ativamente nos forums e perguntas do Stack Overflow sobre Apache Kafka, sendo reconhecidos pela comunidade e pela Confluent pelo trabalho exercido.Nesta mesa redon...2023-02-021h 17Engenharia de Dados [Cast]A Day in a Life of a Co-Founder, Commiter & PMC Member of Apache Flink with Timo WaltherNesse episódio Luan Moreno & Mateus Oliveira entrevistam Timo Walther, atualmente como Principal Software Engineer na Confluent após a recente aquisição da Immerok pela Confluent Cloud.O Apache Flink é uma engine de processamento de dados unificada que aplica tanto batch quanto tempo-real. Tem ganhado grande adoção entre as grandes empresas por oferecer um modelo de computação extremamente eficiente, principalmente para streaming e computação que retenha estado (stateful). Além de ser uma plataforma Open Source, capaz de responder aos seguintes requisitos de forma efetiva...2023-01-3057 minEngenharia de Dados [Cast]Enabling User-Facing Analytics using Apache Pinot with Kishore GopalakrishnaNeste episódio entrevistamos o Kishore Gopalakrishna, Co-Fundador e CEO da empresa StarTree, Luan Moreno e Mateus Oliveira batem um papo com o co-criador dessa poderosa ferramenta chamada Apache Pinot.O Pinot é um OLAP DataStore desenvolvido para responder consultas analíticas com tempo de resposta na casa dos milissegundos, podendo ser considerado um banco de dados para consultas em tempo-real. Capaz de ingerir de fontes de dados em Batch (Hadoop HDFS, Amazon S3, Azure ADLS, Google Cloud Storage), bem como fontes de dados em Stream (Apache Kafka, Apache Pulsar, Amazon Kinesis).2022-12-2952 minEngenharia de Dados [Cast]A Day in a Life of a Director of Airflow Engineering with Kaxil Naik at AstronomerNeste episódio vamos conhecer o Director of Apache Airflow Engineering da empresa Astronomer, Kaxil Naik.Kaxil Naik vai nos dar uma visão mais apurada sobre o Apache Airflow e os produtos da Astronomer, como desenvolvedor e PMC Committer, apaixonado por produtos Open-Source.O Astro produto da Astronomer oferece os seguintes benefícios:Executar pipelines do Airflow com acesso imediato aos recursos mais recentes.Reduzir o consumo de infraestrutura para tarefas de longa duração.Reduzir latência de tarefa com configuração e dimensionamento automático.Coletar metadados automatic...2022-12-291h 08Engenharia de Dados [Cast]Conferência Snowflake Summit 2022: Anúncios e Novidades por Mateus OliveiraNesse episódio, Luan Moreno e Mateus Oliveira trazem as novidades da conferência data Summit 2022, sobre o Snowflake a plataforma nativa da nuvem que elimina a necessidade de data warehouses, data lakes e data marts separados, permitindo o compartilhamento seguro de dados em toda a organização e as novidades são As melhorias no snowflake:Unistore;Snowflake e iceberg Tables;Replicação, Failover e disaster recover; e muito mais dentro do nosso Engenharia de Dados[Cast] fique agente ate o final!Anúncios e Novidades da Conferência do Snowflake Summit 2022, segue informações:https...2022-09-0850 minEngenharia de Dados [Cast]Carreira de Data Engineer InternacionalPara a maioria dos amantes de Engenharia de Dados que trabalham nessa área desejam ingressar no mercado de trabalho internacional, nessa conversa descontraída iremos falar um pouco dos pontos que podem te ajudar a ter seu primeiro emprego fora do País.Os convidados desse episódio são:* Mateus Oliveira - Data Engineer na One Way Solution* Luan Moreno - Data Engineer na Pythian* Murilo Miranda - Data Engineer na DataStax* Fabio Alexandre - Data Engineer na BairesDevAlguns pontos que foram abordados:* Visão de Engenh...2021-04-221h 46