内容简介:
随着业务数据量指数级增长,美图的IDC 大数据 中心机房空间有限,设备老旧,采购扩容周期长,无法快速扩展支撑业务的增长,同时IDC大数据计算资源和存储资源耦合,无法按计算和存储不同的增长规律分别动态扩缩容,整体资源利用率低,数据存在多份拷贝,存储资源冗余,另外在IDC大数据中心机房自建大 数据集 群,采用 开源 软件,需要投入大量人力维护开源软件的功能Bug、可靠性和稳定性等问题,大数据集群的资源扩缩容、网络带宽调整、大数据本地磁盘的损坏,都需要IT运维,运维工作量大,人力投入成本高。
美图采用了华为云大数据存算分离方案,统一 数据湖 ,实现了一份数据自由流动,避免重复拷贝,支持多元计算和AI创新,数据快速变现,数据文件存储规模无限扩展,打破单集群限制,解决运维痛点,同时对计算与存储资源进行解耦,存储不足扩存储,计算不足扩计算,面对数据激增的浪涌 弹性伸缩 ,资源灵活部署,计算存储资源利用率整体提升40%。
内容大纲:
1、 智能数据湖 技术趋势发展;
2、MRS智能数据湖架构&存算分离关键技术介绍;
3、美图大数据搬迁存算分离案例解读。
听众收益:
1、了解业界数据湖技术发展趋势;
2、了解MRS智能数据湖关键技术;
3、了解 互联网行业数据湖实践方案。