“湖仓一体”目前作为一种新兴架构,结合数据仓库与数据湖的优势,在类似数据湖的低成本存储上,实现与数据仓库中类似的数据结构和数据管理功能,在扩展性、事务性以及灵活度方面体现独有的优势,是解决目前企业数据治理需求的更优解。
为了应对更加复杂多变的业务需求,越来越多的公司对数据处理的实时性和融合性提出更高要求,为了满足此要求、实现构建云原生湖仓一体数据平台,打破数据仓库和数据湖之间的壁垒,一方面采用云原生架构提供更强的弹性计算能力以降低整体成本,另一方面使用湖仓一体架构协助数据融合统一,减少数据分析过程中的数据搬迁,实现统一的数据管理,加速数据价值变现。
出品人:蒋晓峰 bilibili 资深开发工程师
(相关资料图)
个人介绍:哔哩哔哩资深开发工程师,Apache Paimon PPMC,Apache Kyuubi & Apache RocketMQ Committer,主要负责 Hudi 内核开发。
张永翔 网易杭州研究院 大数据平台开发工程师
个人介绍:张永翔,网易数帆资深平台开发工程师,Amoro Committer,7 年从业经验,先后从事网易 RDS、数据中台、实时计算平台等开发,目前主要负责 Amoro 湖原生数仓项目。
演讲题目:Apache Iceberg +Amoro 构建云原生湖仓探索
演讲提纲:
1. 云上构建湖仓一体的优势与挑战
2. Apache Iceberg 与 Amoro 构建云原生湖仓的优势
3. Apache Iceberg + Amoro 构建云原生湖仓的实践
4. 未来发展
听众收益:
1. 云上构建湖仓一体可能的挑战
2. Amoro + Apache Iceberg 构建云原生湖仓的优势是什么
3. 如何通过 Amoro + Apache Iceberg 构建云原生湖仓
杨洋 bilibili 离线平台高级开发工程师
个人介绍:2021年加入B站工作至今,专注于开源大数据技术,参与过Alluxio、Presto、Ranger、Hudi等组件改造及优化,目前主要从事StarRocks落地元仓场景的工作。
演讲题目:B站基于StarRocks构建大数据元仓和诊断系统
演讲提纲:
1. 大数据元仓背景
2. 技术选型及方案
3. 元仓与诊断效果
4. 总结与未来规划
听众收益:
1. 了解元仓和诊断架构及构建过程
2. 了解技术选型过程及StarRocks的特性
林阳昊 火山引擎 基础架构工程师
个人介绍:本科毕业于复旦大学,硕士毕业于新加坡国立大学,2022 年入职火山引擎。Iceberg contributor。火山引擎负责 Iceberg 研发,以及基于 Iceberg 的 Feature Store 研发。
演讲题目:Iceberg 在火山引擎的云原生湖仓实践
演讲提纲:
1. 背景
- Iceberg 介绍
- 场景介绍:流式入湖 + OLAP 场景、特征调研场景
2. 通用优化
- 动态 Schema 写入(Append-only、CDC)
- 数据维护(Compaction、expire snapshot、expire data、clean up)
3. 流式入湖 + OLAP 场景
- 流式写入、compaction 冲突解决
- 物化视图、Upsert 优化
- Flink ALTER SCHEMA、UPDATE、DELETE 支持
- Flink 多版本支持
4. 特征调研场景
- 元数据瘦身
- Manifest 整理
- File skipping 优化
听众收益:
1. 如何使用 Flink + Iceberg 搭建一套 CDC 链路
2. 如何解决 Flink 读写 Iceberg 过程中的常见问题
3. 如何从数据层面和元数据层面,加速 Iceberg 查询
符其军 阿里云 数据库开发工程师
个人介绍:阿里云数据库开发工程师,主要负责内部数据湖产品研发。
演讲题目:阿里云 AnalyticDB 基于 Apache Hudi 实现 PB 级别数据入湖实践
演讲提纲:
介绍阿里云 AnalyticDB 基于 Hudi 实现 PB 级别日志数据入湖的实践:
1. Hudi & Lakehouse 简介
2. 基于Hudi构建数据入湖的挑战
3. 总结和展望
听众收益:
1. 了解 Lakehouse 的基本概念以及 Apache Hudi 的优势
2. Flink + Hudi 如何实现 4GB/s 的高吞吐写入
3. 如何在云原生环境上构建和优化数据湖产品?
杨勇强 SelectDB 联合创始人兼产品VP
个人介绍:SelectDB 联合创始人兼产品VP、Apache Doris Committer,曾担任百度智能云存储部主任架构师,具有十余年的大数据、数据库以及云存储领域的设计、架构以及技术管理经验。
演讲题目:新一代实时数据仓库 SelectDB 云原生版本 SelectDB Cloud
演讲提纲:
1. SelectDB Cloud 特色
2. SelectDB Cloud 架构
3. 阿里云瑶池 SelectDB
听众收益:深入了解新一代实时数仓 SelectDB 的特色、架构以及阿里云和飞轮科技合作的 SelectDB 产品。
感兴趣的话可以点击链接了解更多议题详情:
标签:
参与评论