Generated by Answer me with HTML 0.5.5 · 2026-10-20 13:58 · ★ Star on GitHub
国内大数据技术十年演变
2016–2026:从组件堆叠,到湖仓一体,再到 AI 原生
Lead: 十年只做了一件事——让数据从「隔天能查」变成「实时可用」,再变成「能直接喂给模型」。架构换了三代,驱动力始终是同一个:业务等不起。
一句话主线
三代架构,一条主线
第一代 离线数仓:HDFS + Hive + Spark,T+1 出报表。
第二代 实时数仓:Kafka + Flink,Lambda 双链路,秒级可见。
第三代 湖仓一体:对象存储 + Iceberg / Paimon,流批一体、存算分离。
现在进入第四阶段:AI 原生数据栈——数据不只是给报表用,是给模型吃。
十年时间线
- 2016Spark 2.0 / Flink 1.0批处理统一到 DataFrame,实时计算刚起步
- 2017Kafka 1.0 / 阿里 BlinkLambda 架构成为主流,离线 + 实时双链路
- 2018实时数仓元年Flink SQL 成熟,开始替代 Storm
- 2019Flink 1.9 合并 Blink阿里把 Blink 回馈社区,Flink 真正具备生产级 SQL
- 2020Iceberg / Hudi 毕业数据湖从「文件堆」变成「有事务的表」
- 2021StarRocks 开源 / Flink 1.13极速 OLAP 国产化,流批一体 API 落地
- 2022Doris 毕业 / Paimon 立项湖仓一体从概念走向生产
- 2023向量数据库爆发RAG 兴起,数据栈开始服务模型
- 2024AI 原生数据栈多模态清洗、质量门禁成为新基建
- 2026Agent 化数据工程从人写 SQL,到 Agent 编排管道
三代架构对比
| 维度 | 第一代 离线数仓 | 第二代 实时数仓 | 第三代 湖仓一体 |
|---|---|---|---|
| 存储 | HDFS + Hive 表 | HDFS + Kafka | 对象存储 + Iceberg/Paimon |
| 计算 | MapReduce / Spark | Spark + Flink | Flink + Spark,引擎可换 |
| 时效 | T+1 | 秒到分钟 | 秒级,流批一体 |
| 成本 | 存算耦合,扩容贵 | 更高(双链路) | 存算分离,按需扩 |
| 主要痛点 | 慢、数据孤岛 | 口径不一致、两套代码 | 小文件、元数据治理 |
| 典型代表 | Hive 数仓 | 阿里实时数仓 | 字节 / 腾讯 / 华为湖仓 |
组件换代清单
| 层 | 2016 主流 | 2026 主流 | 关键变化 |
|---|---|---|---|
| 存储 | HDFS | 对象存储 + Iceberg / Paimon | 存算分离,表格式带事务 |
| 批计算 | MapReduce | Spark | 内存计算,DAG 优化 |
| 流计算 | Storm | Flink | 流批一体,Exactly-Once |
| OLAP | Hive / Presto | Doris / StarRocks / ClickHouse | 毫秒级,向量化执行 |
| 调度 | Oozie / Azkaban | DolphinScheduler / Airflow | DAG 化,可观测 |
| 元数据 | Hive Metastore | DataHub / Atlas / Unity Catalog | 血缘与治理 |
| 集成 | Sqoop / DataX | Flink CDC / SeaTunnel | 全量转实时 CDC |
架构怎么长出来的
每一步都不是替换,而是叠一层。所以国内大多数公司现在是「三代并存」,不是「一代淘汰一代」。
云厂商格局
| 厂商 | 计算引擎 | 湖仓底座 | OLAP |
|---|---|---|---|
| 阿里 | MaxCompute / EMR / Flink | OSS + DLF | Hologres / AnalyticDB |
| 腾讯 | EMR / Oceanus | 数据湖 | TDSQL / Doris |
| 华为 | MRS / FusionInsight | OBS + LakeFormation | GaussDB(DWS) |
| 字节 | EMR / LAS | 数据湖 | ByteHouse |
| 百度 | BMR | BOS | Doris / Palo |
共同点:都在把「开源组件」包装成「托管服务」,卖的不是软件,是运维和弹性。
三个驱动力
| 驱动力 | 表现 | 结果 |
|---|---|---|
| 业务要快 | 报表从 T+1 到秒级 | 实时链路成为标配 |
| 成本要低 | 存算耦合扩容太贵 | 存算分离 + 对象存储 |
| 模型要吃数据 | RAG、多模态训练 | 数据质量与清洗前置 |
前两个驱动力催生了湖仓,第三个正在催生数据门禁。
下一站在哪
新的瓶颈不在「存不下」,在「不敢用」
数据量早就不是问题。现在的问题是:这批数据能不能直接拿去训练?
于是新的基础设施会长出来:
- 质量门禁:多信号打分 + Agent 灰区裁决
- 多模态清洗:图文对齐、去重、去水印
- 血缘与合规:每条数据能追到来源和授权
十年看下来,换的是技术栈,没换的是顺序:先解决「有没有」,再解决「快不快」,最后解决「准不准」。现在正好走到第三步。