检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
建议创建单独用于Migration任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请同步修改管理中心对应的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支
重启失败、不可用状态的集群,无法查看其监控指标。当集群再次启动或恢复后,即可正常查看。 CDM集群已正常运行一段时间(约10分钟)。 对于新创建的集群,需要等待一段时间,才能查看上报的监控数据和监控视图。 操作步骤 进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多 > 查看监控指标”。
查看API调试信息(专享版) 功能介绍 查看API在不同集群上的调试信息。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apis/{api_id}/debug-info 表1 路径参数 参数 是否必选 参数类型 描述 project_id
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 default 表名 单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已
该提交已存在,无法重复创建。 该提交已存在。 您已提交过相同操作的请求,请稍后再重试。 Cdm.0327 400 无效的连接或作业:%s。 无效的连接或作业。 请指定正确的连接或作业再重试。 Cdm.0411 400 连接到文件服务器时出错。 连接到文件服务器时出错。 请联系客服或技术支持人员协助解决。
查看API发布信息(专享版) 功能介绍 查看API在不同集群上的发布信息。API在集群上进行过操作后会存在发布信息,例如调试、注册类发布等。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/apis/{api_id}/publish-info
配置OpenTSDB源端参数 作业中源连接为CloudTable OpenTSDB连接时,源端作业参数如表1所示。 表1 OpenTSDB作为源端时的作业参数 参数名 说明 取值样例 开始时间 查询的起始时间,格式为yyyyMMddHHmmdd的字符串或时间戳。 20180920145505
返回当前整小时的时间戳。 1508115600000 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能,要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、Elastic
返回当前整小时的时间戳。 1508115600000 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能,要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、Elastic
数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API? 华为云计划于2021/07/30 00:00:00 GMT+08:00开启数据服务专享版集群商用计费。创建数据服务专享版集群和专享版API都将产生费用,具体价格请参考该服务的计费详情页。商用计费开始后公测期间的集群将进
目标数据库连接账号 目标数据库的每张表必须具有如下权限:INSERT、SELECT、UPDATE、DELETE、CONNECT、CREATE。 建议创建单独用于Migration任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。 连接源和目标数据库的账号密码修
为数据库账号密码修改,导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请同步修改管理中心对应的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持的同步对象范围不同,详细情况可参考表3。
表2 DWS连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dws_link 数据库服务器 单击输入框后的“选择”,可获取用户的DWS实例列表。 - 端口 配置为要连接的数据库的端口。DWS数据库端口默认为8000。
Studio企业模式环境隔离 管理中心的环境隔离,当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后,数据开发时脚本/作业中的开发环境数据连接通过发布流程后,将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前,应已创建DLI的数据连接。 (可选)创建DLI环境隔离
目标数据库连接账号 目标数据库的每张表必须具有如下权限:INSERT、SELECT、UPDATE、DELETE、CONNECT、CREATE。 建议创建单独用于Migration任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。 连接源和目标数据库的账号密码修
作业中源连接为HBase连接或CloudTable连接时,即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时,源端作业参数如表1所示。 CloudTable或HBase作为源端时,CDM会读取表的首行数据作
配置HDFS目的端参数 作业中目的连接为HDFS连接时,目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配
数据服务SDK支持的语言? 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Py