检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据。 前提条件 CDM集群正常运行。 重启失败、不可用状态的集群,无法查看其监控指标。当集群再次启动或恢复后,即可正常查看。 CDM集群已正常运行一段时间(约10分钟)。 对于新创建的集群,需要等待一段时间,才能查看上报的监控数据和监控视图。 操作步骤 进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多
Cdm.0102 400 连接器[%s]不存在。 连接器不存在。 请指定正确的连接器后再重试。 Cdm.0104 400 作业名已存在。 作业名已存在。 作业名已存在,请重新命名后,再重试。 Cdm.0201 400 获取实例失败。 获取实例失败。 请联系客服或技术支持人员协助解决。 Cdm
不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。 说明: 自动建表只同步列注释,表注释不会被同步。
ClickHouse连接时,源端作业参数如表1所示。 表1 MRS ClickHouse作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS ClickHouse连接。 ck_from_cdm 模式或表空间 单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。
host2:port2”。 llinkConfig.host 是 String MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 linkConfig.user 是 String 登录MRS Manager平台的用户名。
Hudi连接时,源端作业参数如表1所示。 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default
is_incre_job Boolean 是否是增量作业。已废弃。 flag Integer 是否是定时作业标记,如果是定时作业则为1,否则为0。由系统根据定时任务配置生成,用户无需填写。 files_read Integer 已读文件数。由系统生成,用户无需填写。 update-user
不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。 不自动创建 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
索引:待写入数据的索引,这里可以选择一个云搜索服务中已存在的索引,也可以手动输入一个不存在的索引名称,名称只能全部小写,CDM会自动在云搜索服务中创建该索引。一次迁移多个索引时,该参数将被禁止配置,CDM自动在目的端创建索引。 导入前清空数据:如果上面选择的索引,在云搜索服务中已存在,这里可以选择导入数据
关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计
索引:待写入数据的索引,这里可以选择一个云搜索服务中已存在的索引,也可以手动输入一个不存在的索引名称,名称只能全部小写,CDM会自动在云搜索服务中创建该索引。一次迁移多个索引时,该参数将被禁止配置,CDM自动在目的端创建索引。 导入前清空数据:如果上面选择的索引,在云搜索服务中已存在,这里可以选择导入数据
文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。 SFTP HTTP Hadoop:MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。 SFTP HTTP Hadoop:MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计
选择“是”,将待上传的文本文件中所有URL对应的文件拉取到OBS,文本文件记录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中,这里需要选择已建立的OBS连接。 obs_link 列表文件OBS桶 存储文本文件的OBS桶名称。 obs-cdm 列表文件或目录 在OBS中存储文本文件
FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。 SFTP HTTP Hadoop:MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 FTP/SFTP到OBS的迁移仅支持二进制文件。 HTTP到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。 SFTP HTTP Hadoop:MRS HDFS 关系型数据库 云数据库 MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
HBase,Apache Hive。 操作场景 当需要新建Hadoop类型连接时,建议先创建集群配置,以简化复杂的连接参数配置。 前提条件 已创建集群。 已参见表1获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件
取值样例 名称 连接名称。 Hudilink Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
String 集群状态: 100:创建中。 200:正常。 300:失败。 303:创建失败。 500:重启中。 800:冻结。 900:已关机。 910:正在关机。 920:正在开机。 failedReasons FailedReasons object 失败原因。集群处于正常状态时不返回。