Generated by Answer me with HTML 0.5.5 · 2026-10-20 13:58 · ★ Star on GitHub

国内大数据技术十年演变

2016–2026:从组件堆叠,到湖仓一体,再到 AI 原生

source公开技术资料整理 · 2026-10

Lead: 十年只做了一件事——让数据从「隔天能查」变成「实时可用」,再变成「能直接喂给模型」。架构换了三代,驱动力始终是同一个:业务等不起。

A

一句话主线

三代架构,一条主线

第一代 离线数仓:HDFS + Hive + Spark,T+1 出报表。

第二代 实时数仓:Kafka + Flink,Lambda 双链路,秒级可见。

第三代 湖仓一体:对象存储 + Iceberg / Paimon,流批一体、存算分离。

现在进入第四阶段:AI 原生数据栈——数据不只是给报表用,是给模型吃。

B

十年时间线

  1. 2016Spark 2.0 / Flink 1.0批处理统一到 DataFrame,实时计算刚起步
  2. 2017Kafka 1.0 / 阿里 BlinkLambda 架构成为主流,离线 + 实时双链路
  3. 2018实时数仓元年Flink SQL 成熟,开始替代 Storm
  4. 2019Flink 1.9 合并 Blink阿里把 Blink 回馈社区,Flink 真正具备生产级 SQL
  5. 2020Iceberg / Hudi 毕业数据湖从「文件堆」变成「有事务的表」
  6. 2021StarRocks 开源 / Flink 1.13极速 OLAP 国产化,流批一体 API 落地
  7. 2022Doris 毕业 / Paimon 立项湖仓一体从概念走向生产
  8. 2023向量数据库爆发RAG 兴起,数据栈开始服务模型
  9. 2024AI 原生数据栈多模态清洗、质量门禁成为新基建
  10. 2026Agent 化数据工程从人写 SQL,到 Agent 编排管道
C

三代架构对比

维度 第一代 离线数仓 第二代 实时数仓 第三代 湖仓一体
存储 HDFS + Hive 表 HDFS + Kafka 对象存储 + Iceberg/Paimon
计算 MapReduce / Spark Spark + Flink Flink + Spark,引擎可换
时效 T+1 秒到分钟 秒级,流批一体
成本 存算耦合,扩容贵 更高(双链路) 存算分离,按需扩
主要痛点 慢、数据孤岛 口径不一致、两套代码 小文件、元数据治理
典型代表 Hive 数仓 阿里实时数仓 字节 / 腾讯 / 华为湖仓
D

组件换代清单

层 2016 主流 2026 主流 关键变化
存储 HDFS 对象存储 + Iceberg / Paimon 存算分离,表格式带事务
批计算 MapReduce Spark 内存计算,DAG 优化
流计算 Storm Flink 流批一体,Exactly-Once
OLAP Hive / Presto Doris / StarRocks / ClickHouse 毫秒级,向量化执行
调度 Oozie / Azkaban DolphinScheduler / Airflow DAG 化,可观测
元数据 Hive Metastore DataHub / Atlas / Unity Catalog 血缘与治理
集成 Sqoop / DataX Flink CDC / SeaTunnel 全量转实时 CDC
E

架构怎么长出来的

加实时链路落湖,统一存储直接供模型HDFS + Hive + SparkKafka + FlinkOSS + Iceberg/PaimonAI 训练 / 特征 / RAG

每一步都不是替换,而是叠一层。所以国内大多数公司现在是「三代并存」,不是「一代淘汰一代」。

F

云厂商格局

厂商 计算引擎 湖仓底座 OLAP
阿里 MaxCompute / EMR / Flink OSS + DLF Hologres / AnalyticDB
腾讯 EMR / Oceanus 数据湖 TDSQL / Doris
华为 MRS / FusionInsight OBS + LakeFormation GaussDB(DWS)
字节 EMR / LAS 数据湖 ByteHouse
百度 BMR BOS Doris / Palo

共同点:都在把「开源组件」包装成「托管服务」,卖的不是软件,是运维和弹性。

G

三个驱动力

驱动力 表现 结果
业务要快 报表从 T+1 到秒级 实时链路成为标配
成本要低 存算耦合扩容太贵 存算分离 + 对象存储
模型要吃数据 RAG、多模态训练 数据质量与清洗前置

前两个驱动力催生了湖仓,第三个正在催生数据门禁。

H

下一站在哪

新的瓶颈不在「存不下」,在「不敢用」

数据量早就不是问题。现在的问题是:这批数据能不能直接拿去训练?

于是新的基础设施会长出来:

  • 质量门禁:多信号打分 + Agent 灰区裁决
  • 多模态清洗:图文对齐、去重、去水印
  • 血缘与合规:每条数据能追到来源和授权

十年看下来,换的是技术栈,没换的是顺序:先解决「有没有」,再解决「快不快」,最后解决「准不准」。现在正好走到第三步。