Lakehouse: a evolução entre Data Warehouse e Data Lake

Nos últimos anos, poucas arquiteturas transformaram tanto a forma como empresas armazenam e analisam dados quanto o Data Lakehouse. O conceito surgiu como uma resposta a uma limitação recorrente das arquiteturas tradicionais: a necessidade de manter ambientes separados para armazenamento massivo de dados e para análises de alta performance.

O Lakehouse procura unir o melhor de dois mundos: a flexibilidade e o baixo custo dos Data Lakes com a governança, confiabilidade e desempenho analítico dos Data Warehouses.

Hoje, essa arquitetura está presente em plataformas modernas de dados, Inteligência Artificial e Analytics, sendo amplamente adotada por empresas que trabalham com Big Data, Machine Learning e IA Generativa.

Como chegamos até o Lakehouse?

Para compreender o Lakehouse, é importante observar a evolução das plataformas de dados.

Primeira geração: Bancos de Dados Relacionais

Durante muitos anos, praticamente todas as aplicações utilizavam bancos relacionais como:

• PostgreSQL
• Oracle
• SQL Server
• MySQL
• DB2

Eles funcionavam muito bem para aplicações transacionais (OLTP), onde consistência, integridade e rapidez nas operações eram prioridades.

Entretanto, quando empresas passaram a armazenar bilhões de registros, executar consultas analíticas complexas e integrar diferentes fontes de informação, os bancos relacionais começaram a enfrentar limitações de custo e escalabilidade.

Segunda geração: Data Warehouse

Para resolver esse problema surgiram os Data Warehouses.

Seu objetivo era organizar informações provenientes de múltiplos sistemas em um ambiente otimizado para consultas analíticas (OLAP).

Normalmente o fluxo seguia este padrão:

ERP
CRM
E-commerce
Aplicativos
APIs
        ↓
      ETL
        ↓
 Data Warehouse
        ↓
 Dashboards
 BI
 Relatórios

Essa arquitetura trouxe diversas vantagens:

• dados organizados;
• alta performance para consultas;
• governança;
• histórico consolidado;
• indicadores corporativos.

Entretanto, havia uma limitação importante.

Os Data Warehouses armazenavam principalmente dados estruturados.

Imagens, vídeos, documentos, logs, sensores IoT e arquivos JSON normalmente ficavam fora desse ambiente.

Terceira geração: Data Lake

Com a explosão do Big Data surgiu uma nova necessidade.

Empresas passaram a produzir volumes gigantescos de dados em diversos formatos.

Foi então que nasceram os Data Lakes.

Sua proposta era bastante simples:

Armazenar absolutamente qualquer tipo de dado.

Independentemente do formato.

Por exemplo:

• CSV
• JSON
• XML
• Parquet
• Imagens
• Vídeos
• PDFs
• Logs
• Arquivos de sensores
• Áudios

Tudo poderia ser armazenado em um grande repositório.

Normalmente utilizando soluções como:

• Amazon S3
• Azure Data Lake Storage
• Google Cloud Storage
• Hadoop HDFS

Isso reduziu drasticamente os custos de armazenamento.

O problema dos Data Lakes

Apesar da flexibilidade, surgiu um novo desafio.

Sem organização, governança e qualidade dos dados, muitos Data Lakes acabaram se transformando em verdadeiros Data Swamps ("pântanos de dados").

Os problemas eram frequentes:

• ausência de catálogo;
• arquivos duplicados;
• falta de versionamento;
• baixa qualidade dos dados;
• consultas lentas;
• dificuldade de auditoria;
• baixa confiabilidade.

Armazenar tudo era fácil.

Encontrar informação confiável era outra história.

Surge o Lakehouse

O conceito de Lakehouse foi apresentado para resolver justamente essa lacuna.

A ideia é simples:

Manter o armazenamento barato e escalável do Data Lake, adicionando mecanismos típicos dos Data Warehouses.

Em vez de criar dois ambientes distintos, o Lakehouse centraliza armazenamento e processamento.

                 Lakehouse

         +----------------------+
         |      Catálogo         |
         |      Metadados        |
         |      Governança       |
         +----------------------+

                    │

      +-----------------------------+
      | Dados Estruturados          |
      | Dados Semi-estruturados     |
      | Dados Não Estruturados      |
      +-----------------------------+

                    │

    SQL │ BI │ IA │ Machine Learning │ APIs

O que caracteriza um Lakehouse?

Algumas funcionalidades passaram a ser praticamente obrigatórias.

ACID Transactions

Mesmo armazenando arquivos distribuídos, o Lakehouse permite transações consistentes.

Isso evita corrupção de dados durante gravações simultâneas.

---

Versionamento

Cada alteração pode gerar uma nova versão dos dados.

Isso permite:

• rollback;
• auditoria;
• reprodução de experimentos;
• rastreabilidade.

---

Time Travel

Uma funcionalidade extremamente interessante.

É possível consultar os dados exatamente como estavam em um determinado momento.

Por exemplo:

"Quero consultar o estado da tabela em 15 de março às 14h."

Isso é fundamental para auditorias e investigações.

---

Schema Evolution

Os dados evoluem constantemente.

Novas colunas aparecem.

Campos deixam de existir.

O Lakehouse consegue adaptar o esquema sem exigir recriações completas das tabelas.

---

Governança

Plataformas modernas adicionam:

• catálogo;
• linhagem dos dados;
• controle de acesso;
• classificação;
• mascaramento;
• auditoria.

---

Formatos modernos

Grande parte do sucesso do Lakehouse está ligada aos formatos de armazenamento.

Os principais são:

Apache Parquet

Formato colunar extremamente eficiente.

Ideal para Analytics.

---

Apache ORC

Muito utilizado no ecossistema Hadoop.

---

Apache Avro

Excelente para serialização e streaming.

---

Tecnologias que impulsionaram o Lakehouse

Atualmente existem três grandes ecossistemas.

Delta Lake

Criado pela Databricks.

Foi um dos primeiros a adicionar:

• ACID;
• versionamento;
• time travel;
• schema evolution.

---

Apache Iceberg

Desenvolvido inicialmente pela Netflix.

Hoje é um projeto Apache.

Muito adotado por empresas que desejam evitar dependência de fornecedores.

---

Apache Hudi

Criado pela Uber.

Focado principalmente em ingestão contínua de dados.

Excelente para CDC (Change Data Capture).

---

Onde entra o Apache Spark?

O Spark é frequentemente confundido com o Lakehouse.

Na realidade:

Spark é o motor de processamento.

O Lakehouse é a arquitetura.

Spark pode:

• ler;
• escrever;
• transformar;
• processar;
• treinar modelos;
• gerar tabelas.

Tudo sobre um Lakehouse.

---

Lakehouse e Inteligência Artificial

A ascensão da IA Generativa aumentou ainda mais a importância do Lakehouse.

Modelos de IA precisam consumir enormes volumes de dados.

Esses dados podem incluir:

• documentos;
• PDFs;
• e-mails;
• imagens;
• logs;
• tabelas;
• conversas;
• APIs.

Centralizar todas essas informações em um ambiente governado reduz significativamente o trabalho de preparação dos dados.

RAG (Retrieval-Augmented Generation)

Grande parte das arquiteturas modernas de RAG utiliza um Lakehouse como origem dos dados.

O fluxo normalmente é:

Lakehouse
↓
Spark / ETL
↓
Chunking
↓
Embeddings
↓
Vector Database
↓
LLM

O Lakehouse funciona como a fonte única da verdade, enquanto o banco vetorial armazena apenas as representações numéricas (embeddings) utilizadas para recuperação semântica.

---

Benefícios para o mundo corporativo

Empresas adotam Lakehouse principalmente porque ele reduz custos e simplifica a arquitetura.

Os principais benefícios incluem:

• armazenamento escalável e econômico;
• suporte a dados estruturados e não estruturados;
• consultas analíticas de alto desempenho;
• governança centralizada;
• integração nativa com IA e Machine Learning;
• eliminação da duplicação de dados entre Data Lake e Data Warehouse;
• maior agilidade para cientistas de dados, engenheiros de dados e equipes de BI.

---

O futuro das plataformas de dados

O Lakehouse representa uma mudança importante na forma como pensamos a engenharia de dados.

Em vez de manter diferentes plataformas para cada necessidade, a tendência é consolidar armazenamento, processamento analítico, governança e Inteligência Artificial em uma única arquitetura.

Isso não significa que Data Warehouses tradicionais desaparecerão. Eles continuam sendo adequados para muitos cenários corporativos.

No entanto, para organizações que lidam com grandes volumes de dados, múltiplos formatos de informação e iniciativas de IA, o Lakehouse tornou-se uma arquitetura estratégica.

Mais do que uma evolução tecnológica, ele representa uma nova forma de organizar os dados da empresa: tornando-os acessíveis, governados, escaláveis e preparados para alimentar desde dashboards executivos até modelos de Inteligência Artificial.

Referências

Artigos Científicos

• Armbrust, M. et al. Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics. CIDR Conference, 2021. Considerado o artigo fundador do conceito de Lakehouse, introduzindo a arquitetura como uma unificação entre Data Lakes e Data Warehouses.
• Borodii, I.; Osukhivska, H. Research on the Efficiency of Data Loading and Storage in Data Lakehouse Architectures for the Formation of Analytical Data Systems. arXiv, 2026. Estudo comparativo entre Delta Lake, Apache Iceberg e Apache Hudi utilizando Apache Spark.

---

Livros

• Kleppmann, Martin. Designing Data-Intensive Applications. O'Reilly Media, 2017.
• Chambers, Bill; Zaharia, Matei. Spark: The Definitive Guide. O'Reilly Media, 2018.
• Karau, Holden; Warren, Rachel. High Performance Spark. O'Reilly Media.
• White, Tom. Hadoop: The Definitive Guide. O'Reilly Media.

---

Documentações Oficiais

Apache Spark

• Apache Spark Documentation

Delta Lake

• Delta Lake Documentation
• Databricks. What is Delta Lake? Documentação oficial sobre transações ACID, Time Travel, Schema Evolution e integração com Apache Spark.

Apache Iceberg

• Apache Iceberg Documentation
• Databricks. What is Apache Iceberg? Documentação oficial sobre arquitetura, versionamento, evolução de esquema e suporte a múltiplos mecanismos de consulta.

Apache Hudi

• Apache Hudi Documentation