数据治理中心 DATAARTS STUDIO-示例场景说明
示例场景说明
本实践通过 DataArts Studio 服务的数据集成 CDM 组件、数据开发DLF组件和 数据仓库 服务(DWS)对电影评分原始数据进行分析,输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能,以及DWS SQL基本语法。
本入门示例涉及DataArts Studio数据集成、管理中心和数据开发模块,DataArts Studio各版本均可以满足使用要求。
操作流程如下:
- 准备工作,包括使用DataArts Studio前的准备、数据源准备、 数据湖 准备和认证数据准备。
- 创建数据迁移作业,将OBS数据迁移到DWS。
- 数据开发,包含创建DWS SQL脚本和开发作业。
- 创建DWS SQL脚本top_rating_movie(用于存放评分最高的Top10电影)
- 创建DWS SQL脚本top_active_movie(用于存放最活跃的Top10电影)
- 开发并调度作业,通过编排作业和配置作业调度策略,定期执行作业,使得用户可以每天获取到最新的Top10电影结果。
- 服务退订,如果不再使用DataArts Studio及相关服务,请及时进行退订和资源删除。