检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成(CDM作业)
utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。
utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。
- ORACLE版本 默认使用最新版本驱动,若不兼容请尝试其他版本。 高于12.1 驱动版本 需要适配的驱动。 - 一次请求行数 指定每次请求获取的行数。 1000 连接属性 自定义连接属性。 useCompression=true 引用符号 连接引用表名或列名时的分隔符号。
- 驱动版本 不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。
utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。
' 驱动版本 不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。
步骤3:服务退订 本开发场景中,DataArts Studio、OBS和DLI服务均会产生相关费用。在使用过程中,如果您额外进行了通知配置,可能还会产生以下相关服务的费用: SMN服务:如果您在使用DataArts Studio各组件过程中开启了消息通知功能,则会产生消息通知服务费用
如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即每一个节点可以独立调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置节点调度任务(实时作业)。
步骤3:数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集群
单击“连接管理->驱动管理”,参考管理驱动,上传MySQL数据库驱动。 选择“连接管理 > 新建连接”,新建MySQL连接。连接器类型选择“MySQL”,然后单击“下一步”配置连接参数,参数说明如表1所示。配置完成后,单击“保存”回到连接管理界面。
亿信华辰深耕数据领域17年,致力于打造围绕着数据全生命周期的智能化产品线,所有产品都可以独立应用,无缝集成,可根据需求定制符合客户发展的灵活、便捷、高效数字化转型解决方案,提速改革发展步伐,助力政企数字化转型,让数据驱动进步。 父主题: 数据资产入表
步骤3:数据开发处理 本步骤通过电影信息和评分信息的原始数据,分析评分最高的Top10电影和最活跃的Top10电影,然后通过作业定期调度执行并将结果每日导出到表中,以支撑信息分析。 创建DWS SQL脚本top_rating_movie(用于存放评分最高的Top10电影) 评分最高
已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了MySQL数据库驱动。
本文旨在帮助客户持续完善数据管理体系,沿企业主业务流打通信息链和数据流,提升数据质量,实现数据“清洁”,以支撑运营效率提升和经营结果的真实呈现,实现智慧数据驱动有效增长,充分实现数据资产价值。
utf8 驱动版本 不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。
已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了Oracle数据库驱动。 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。
12000 60 获取schemas 获取schemas,目前只有DWS和采用postgresql驱动的RDS数据源支持schema,请在调用前确认该数据源是否支持schema字段。 12000 60 获取数据源中的表 获取数据源中的表。
配置数据血缘 DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的
driverName 是 String 驱动程序名称: com.mysql.jdbc.Driver org.postgresql.Driver driverPath 是 String 驱动在OBS上路径。