检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
法通过弹性IP连接数据源。 创建Oracle连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。 图1 选择连接器类型 连接器类型选择“Oracle”后单击“下一步”,配置Oracle连接参数,参数说明如表1所示。
日志提示解析日期格式失败时怎么处理? 问题描述 在使用CDM迁移其他数据源到云搜索服务(Cloud Search Service)的时候,作业执行失败,日志提示“Unparseable date”,如图1所示。 图1 日志提示信息 原因分析 云搜索服务对于时间类型有一个特殊处理:
IAM用户操作时报错“无xx权限”怎么办? 可能原因 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常,IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色,另外也必须确保DAYU
配置DWS源端参数 作业中源连接为DWS连接时,源端作业参数如表1所示。 表1 DWS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,
配置DLI源端参数 作业中源连接为DLI连接时,源端作业参数如表1所示。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。
配置MRS Hudi源端参数 作业中源连接为MRS Hudi连接时,源端作业参数如表1所示。 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择
配置分库源端参数 作业中源连接为分库连接,源端作业参数如表1所示。 表1 分库作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。
配置OpenTSDB源端参数 作业中源连接为CloudTable OpenTSDB连接时,源端作业参数如表1所示。 表1 OpenTSDB作为源端时的作业参数 参数名 说明 取值样例 开始时间 查询的起始时间,格式为yyyyMMddHHmmdd的字符串或时间戳。 20180920145505
ClickHouse源端参数 作业中源连接为MRS ClickHouse连接时,源端作业参数如表1所示。 表1 MRS ClickHouse作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS ClickHouse连接。 ck_from_cdm 模式或表空间
配置OpenTSDB目的端参数 作业中目的连接为CloudTable OpenTSDB连接时,目的端作业参数如表1所示。 表1 OpenTSDB作为目的端时的作业参数 参数名 说明 取值样例 指标 可选参数,输入指标名称,或选择OpenTSDB中已存在的指标。 city.temp
配置MRS Hudi目的端参数 作业中目的连接为MRS Hudi连接时,目的端作业参数如表1所示。 表1 MRS Hudi作为目的端时的作业参数 通用配置 配置项 配置说明 推荐配置 目的连接名称 选择已配置的MRS Hudi连接。 hudi_to_cdm 数据库名称 输入或选择
审批DWS权限申请时提示“缺少必要的请求参数”怎么办? 可能原因 此报错一般是因为授权对象未同步到DWS数据源引起的。 解决方案 您可以通过同步用户,重新将授权对象同步到DWS数据源,然后再次尝试审批申请。 父主题: 数据安全
DLI:DLI连接类型的表的数据类型。 DWS:DWS连接类型的表的数据类型。 MRS_HIVE:MRS_HIVE连接类型的表的数据类型。 MRS_SPARK:MRS_SPARK连接类型Hudi表的数据类型。 POSTGRESQL:POSTGRESQL连接类型的表的数据类型。
配置MongoDB目的端参数 作业中目的连接为MongoDB连接时,目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后
字段映射界面无法显示所有列怎么处理? 问题描述 在使用CDM从HBase/CloudTable导出数据时,在字段映射界面HBase/CloudTable表的字段偶尔显示不全,无法与目的端字段一一匹配,造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无
用户在执行质量作业时提示无MRS权限怎么办? 可能原因 用户在执行质量作业时报错,查看质量作业的日志,提示“ The current user does not exist on MRS Manager. Grant the user sufficient permissions
在“实时网络连接”页签中单击“新建”,在弹出的“新建网络连接”对话框输入对应参数,配置参数如下表所示: 表2 新建网络连接参数 参数 说明 连接名称 填写待创建的网络连接名称。 只能包含字母、数字和下划线。 资源组 需要和指定VPC进行网络打通的资源组。 如果创建时未选择资源组,可以在网络
配置Oracle目的端参数 作业中目的连接为Oracle数据库连接时,目的端作业参数如表1所示。 表1 Oracle作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。
提交调度后的作业执行失败,报depend job [XXX] is not running or pause怎么办? 问题描述 提交调度后的作业执行失败,报depend job [XXX] is not running or pause。 原因分析 该问题是由于上游依赖作业不在运行状态而造成。
创建数据连接,用于跨源数据对账。 操作步骤 建立跨源数据连接。 创建DLI数据连接。在DataArts Studio管理中心模块,单击创建数据连接,数据连接类型选择“数据湖探索(DLI)”,输入数据连接名称,单击“测试”,提示连接成功,单击“确定”。 创建DWS数据连接。在DataArts