您的位置:首页 > 财经 >

湖仓一体是伪命题?

2023-08-03 08:02:18 来源:DataFunTalk

“湖仓一体”目前作为一种新兴架构,结合数据仓库与数据湖的优势,在类似数据湖的低成本存储上,实现与数据仓库中类似的数据结构和数据管理功能,在扩展性、事务性以及灵活度方面体现独有的优势,是解决目前企业数据治理需求的更优解。

为了应对更加复杂多变的业务需求,越来越多的公司对数据处理的实时性和融合性提出更高要求,为了满足此要求、实现构建云原生湖仓一体数据平台,打破数据仓库和数据湖之间的壁垒,一方面采用云原生架构提供更强的弹性计算能力以降低整体成本,另一方面使用湖仓一体架构协助数据融合统一,减少数据分析过程中的数据搬迁,实现统一的数据管理,加速数据价值变现。

出品人:蒋晓峰 bilibili 资深开发工程师


(相关资料图)

个人介绍:哔哩哔哩资深开发工程师,Apache Paimon PPMC,Apache Kyuubi & Apache RocketMQ Committer,主要负责 Hudi 内核开发。

张永翔 网易杭州研究院 大数据平台开发工程师

个人介绍:张永翔,网易数帆资深平台开发工程师,Amoro Committer,7 年从业经验,先后从事网易 RDS、数据中台、实时计算平台等开发,目前主要负责 Amoro 湖原生数仓项目。

演讲题目:Apache Iceberg +Amoro 构建云原生湖仓探索

演讲提纲:

1. 云上构建湖仓一体的优势与挑战

2. Apache Iceberg 与 Amoro 构建云原生湖仓的优势

3. Apache Iceberg + Amoro 构建云原生湖仓的实践

4. 未来发展

听众收益:

1. 云上构建湖仓一体可能的挑战

2. Amoro + Apache Iceberg 构建云原生湖仓的优势是什么

3. 如何通过 Amoro + Apache Iceberg 构建云原生湖仓

杨洋 bilibili 离线平台高级开发工程师

个人介绍:2021年加入B站工作至今,专注于开源大数据技术,参与过Alluxio、Presto、Ranger、Hudi等组件改造及优化,目前主要从事StarRocks落地元仓场景的工作。

演讲题目:B站基于StarRocks构建大数据元仓和诊断系统

演讲提纲:

1. 大数据元仓背景

2. 技术选型及方案

3. 元仓与诊断效果

4. 总结与未来规划

听众收益:

1. 了解元仓和诊断架构及构建过程

2. 了解技术选型过程及StarRocks的特性

林阳昊 火山引擎 基础架构工程师

个人介绍:本科毕业于复旦大学,硕士毕业于新加坡国立大学,2022 年入职火山引擎。Iceberg contributor。火山引擎负责 Iceberg 研发,以及基于 Iceberg 的 Feature Store 研发。

演讲题目:Iceberg 在火山引擎的云原生湖仓实践

演讲提纲:

1. 背景

- Iceberg 介绍

- 场景介绍:流式入湖 + OLAP 场景、特征调研场景

2. 通用优化

- 动态 Schema 写入(Append-only、CDC)

- 数据维护(Compaction、expire snapshot、expire data、clean up)

3. 流式入湖 + OLAP 场景

- 流式写入、compaction 冲突解决

- 物化视图、Upsert 优化

- Flink ALTER SCHEMA、UPDATE、DELETE 支持

- Flink 多版本支持

4. 特征调研场景

- 元数据瘦身

- Manifest 整理

- File skipping 优化

听众收益:

1. 如何使用 Flink + Iceberg 搭建一套 CDC 链路

2. 如何解决 Flink 读写 Iceberg 过程中的常见问题

3. 如何从数据层面和元数据层面,加速 Iceberg 查询

符其军 阿里云 数据库开发工程师

个人介绍:阿里云数据库开发工程师,主要负责内部数据湖产品研发。

演讲题目:阿里云 AnalyticDB 基于 Apache Hudi 实现 PB 级别数据入湖实践

演讲提纲:

介绍阿里云 AnalyticDB 基于 Hudi 实现 PB 级别日志数据入湖的实践:

1. Hudi & Lakehouse 简介

2. 基于Hudi构建数据入湖的挑战

3. 总结和展望

听众收益:

1. 了解 Lakehouse 的基本概念以及 Apache Hudi 的优势

2. Flink + Hudi 如何实现 4GB/s 的高吞吐写入

3. 如何在云原生环境上构建和优化数据湖产品?

杨勇强 SelectDB 联合创始人兼产品VP

个人介绍:SelectDB 联合创始人兼产品VP、Apache Doris Committer,曾担任百度智能云存储部主任架构师,具有十余年的大数据、数据库以及云存储领域的设计、架构以及技术管理经验。

演讲题目:新一代实时数据仓库 SelectDB 云原生版本 SelectDB Cloud

演讲提纲:

1. SelectDB Cloud 特色

2. SelectDB Cloud 架构

3. 阿里云瑶池 SelectDB

听众收益:深入了解新一代实时数仓 SelectDB 的特色、架构以及阿里云和飞轮科技合作的 SelectDB 产品。

感兴趣的话可以点击链接了解更多议题详情:

标签:

参与评论