检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量，例如起始时间配置为
CodeTableVO object 引用码表，只读。 queue_name String dli数据连接执行sql所需的队列，数据连接类型为DLI时必须。 dw_id String 数据连接ID。 reversed Boolean 是否是逆向的。 partition_conf String
ValueMappingVO objects 告警通知主题调整。 connections 否 Array of ValueMappingVO objects 连接调整，只针对DLI。 queues 否 Array of ValueMappingVO objects 队列调整，只针对DLI。 表4 ValueMappingVO
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间（包含该值），格式为“yyyy-MM-dd
数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间（包含该值），格式为“yyyy-MM-dd
主题域分组。 l2 String 主题域。 l3 String 业务对象。 table_name String 数据表对象名，格式为：数据连接.库.模式表/表。 l1_score Double 主题域分组评分。 l2_score Double 主题域评分。 l3_score Double
队列属性(0:默认,1:实时队列,2:离线队列), 当前只有yarn队列涉及。 conn_id String 数据连接id。 conn_name String 数据连接名称。 cluster_id String 集群id。 cluster_name String 集群名称。 create_time
基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。
移效率与业务稳定性。 需要作为不同的用途或给多个业务部门使用。例如既需要用于数据迁移作业，又需要作为DataArts Studio管理中心连接代理时，建议各配置至少一个CDM集群。 待迁移任务库表较多，迁移量较大。此时可以使用多个CDM集群同时作业，提升迁移效率。 当前CDM集群
yy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 db_name String 数据库名。 dw_type String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICK
CodeTableVO object 引用码表，只读。 queue_name String dli数据连接执行sql所需的队列，数据连接类型为DLI时必须。 dw_id String 数据连接ID。 reversed Boolean 是否是逆向的。 partition_conf String
csv 否 目录层次 自定义目录层次选择是时显示该参数。 指定文件的目录层次，支持时间宏（时间格式为yyyy/MM/dd）。源端为关系型数据库数据源时，目录层次为源端表名+自定义目录，其他场景下为自定义目录。 ${dateformat(yyyy/MM/dd, -1, DAY)} 文件名前缀
Studio控制台购买的对应实例规格的CDM集群使用。 数据集成CDM集群可用于如下场景： 用于创建并运行数据迁移作业，提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理，为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经包含一个仅用
EIP服务：如果您为数据集成集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EIP价格详情。 DEW服务：在数据集成或创建管理中心连接时，如果启用了KMS，则会产生密钥管理费用，收费标准请参见DEW价格详情。 在场景开发完成后，如果您不再使用DataArts Studio
分析平台，使得该公司更好地聚焦业务，持续创新。 场景描述 H公司是国内一家收集主要贸易国贸易统计及买家数据的商业机构，拥有大量的贸易统计数据库，其数据广泛应用于产业研究、行业研究、国际贸易促进等方面。 在这之前，H公司采用其自建的大数据集群，并安排专人维护，每年固定购买电信联通双
II编码不能编码汉字所以报错。因此需要将编码格式转化为“utf8”。 解决方法 用python3解释器，在主机上做一个软连接，如下图所示。 图2 主机上做软连接 在文件中设置标准编码方式。 # -*- coding: utf-8 -*-；或者设置主机的编码格式：在python安装
单击添加字段，在弹出框中选择“添加新字段”，如图2所示。 图2 添加字段04 添加完字段后，新增的字段在界面不显示样值，这个不影响字段值的传输，CDM会将字段值直接写入目的端。 这里“添加新字段”的功能，要求源端数据源为：MongoDB、HBase、关系型数据库或Redis，其中Redis必须为Hash数据格式。 全
yy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 db_name String 数据库名。 dw_type String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICK
ace String 数据连接工作空间ID。 cluster_type String 集群类型 MRS集群 DWS集群 data_connection_id String 数据连接id。 data_connection_name String 数据连接名称。 cluster_id
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
