正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ertex_user_rds2obs”。 edge_friends_rds2hive(CDM Job节点):在节点属性中,选择创建数据集成作业中的CDM集群,并关联CDM作业“edge_friends_rds2hive”。 edge_friends_rds2obs(CDM Job
city2(code varchar(10),name varchar(32)); 在CDM集群下,创建连接到MySQL的连接,例如连接名称为“mysqltestlink”。创建连接到DWS的连接,例如连接名称为“dwstestlink”。 运行下述代码,依赖HttpClient包,建议使用4.5版本。Maven配置如下:
配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时,源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式:
脏数据当前仅支持写入到OBS桶路径中。因此仅当已具备OBS连接时,此参数才可以配置。 是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时,才显示该参数。 写入脏数据的OBS桶的名称。
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 解决方案 添加如下两条命令: export LD_LIBRARY_PATH=/usr/local/dws_client_8
配置Elasticsearch/云搜索服务源端参数 作业中源连接为Elasticsearch连接参数说明或云搜索服务(CSS)连接参数说明时,源端作业参数如表1所示。 表1 Elasticsearch/云搜索服务作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引
配置HBase/CloudTable目的端参数 作业中目的连接为HBase连接或CloudTable连接时,即导入数据到以下数据源时,目的端作业参数如表1所示。 表1 HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。
Oracle迁移到DWS报错ORA-01555 MongoDB连接迁移失败时如何处理? Hive迁移作业长时间卡顿怎么办? 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? MySQL迁移时报错“JDBC连接超时”怎么办? 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理?
配置DWS源端参数 作业中源连接为DWS连接时,源端作业参数如表1所示。 表1 DWS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,
配置MRS Hudi源端参数 作业中源连接为MRS Hudi连接时,源端作业参数如表1所示。 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择
管理中心典型场景教程 新建DataArts Studio与MRS Hive数据湖的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题: 管理中心
配置DLI源端参数 作业中源连接为DLI连接时,源端作业参数如表1所示。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。
ClickHouse源端参数 作业中源连接为MRS ClickHouse连接时,源端作业参数如表1所示。 表1 MRS ClickHouse作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS ClickHouse连接。 ck_from_cdm 模式或表空间
配置OpenTSDB源端参数 作业中源连接为CloudTable OpenTSDB连接时,源端作业参数如表1所示。 表1 OpenTSDB作为源端时的作业参数 参数名 说明 取值样例 开始时间 查询的起始时间,格式为yyyyMMddHHmmdd的字符串或时间戳。 20180920145505
配置OpenTSDB目的端参数 作业中目的连接为CloudTable OpenTSDB连接时,目的端作业参数如表1所示。 表1 OpenTSDB作为目的端时的作业参数 参数名 说明 取值样例 指标 可选参数,输入指标名称,或选择OpenTSDB中已存在的指标。 city.temp
配置MRS Hudi目的端参数 作业中目的连接为MRS Hudi连接时,目的端作业参数如表1所示。 表1 MRS Hudi作为目的端时的作业参数 通用配置 配置项 配置说明 推荐配置 目的连接名称 选择已配置的MRS Hudi连接。 hudi_to_cdm 数据库名称 输入或选择
配置MongoDB目的端参数 作业中目的连接为MongoDB连接时,目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后
配置Oracle目的端参数 作业中目的连接为Oracle数据库连接时,目的端作业参数如表1所示。 表1 Oracle作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。
类型。 DWS字符类型字段认为空字符串('')是空值,有非空约束的字段无法插入空字符串(''),这点与MySQL行为不一致,MySQL不认为空字符串('')是空值。从MySQL迁移到DWS时,可能会因为上述原因导致迁移失败。 使用GDS模式快速导入数据到DWS时,需要配置相关安全
DM上创建MySQL连接时输入这个地址和端口)。 映射地址、映射端口:配置为内网MySQL的地址和端口。 图2 配置端口映射 单击“增加”,添加端口映射关系。 单击“开始映射”,这时才会真正开始映射,接收数据包。 至此,就可以在CDM上通过弹性IP读取本地内网MySQL的数据,然后导入到云服务DWS中。