检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
址: 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 说明: 仅GaussDB数据源支持多域名的方式,多个域名之间用“,”分隔。 如果为MySQL、PostgreSQL或达梦数据库
动,不会进行调度。 原因2:实例查询时间区间过大,如果配置有依赖作业或者自依赖,查看历史作业实例是否因为依赖失败,导致等待运行,没有生成新作业实例。 解决方案 配置作业失败异常告警通知,以及实例超时时间,当等待时间超过实例超时时间,系统将发送告警通知。 父主题: 数据开发
配置MongoDB/DDS源端参数 从MongoDB、DDS迁移数据时,CDM会读取集合的首行数据作为字段列表样例,如果首行数据未包含该集合的所有字段,用户需要自己手工添加字段。 作业中源连接为MongoDB连接时,即从本地MongoDB或DDS导出数据时,源端作业参数如表1所示。
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)时,迁移作业失败,且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标
itor权限,无法创建连接。 使用新建的用户登录Manager页面,并更新初始密码,否则会导致创建连接失败。 同步IAM用户。 登录MRS管理控制台。 选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“概览”页签的基本信息区域,单击“IA
用户,密码不会立即生效且作业会运行失败。 迁移数据到DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限,否则会导致迁移失败。dli-trans*内部临时桶的权
个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 说明: 当开启数据集成作业特
容转换,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理
用户可以按照天/周/月为调度周期配置通知任务,向相关人员发送通知。让相关人员可以定期跟踪作业的调度情况(作业调度成功数量,作业调度失败异常数量以及作业失败详情)。 约束限制 该功能依赖于OBS服务。 前提条件 已开通消息通知服务并配置主题,为主题添加订阅。 已提交作业,且作业不是“未启动”状态。
在指定集群创建作业或者随机集群创建作业并执行时,由“driver-config-values”参数指定作业任务配置,包含如下功能: 作业失败重试:如果作业执行失败,可选择是否自动重新启动作业。 作业分组:CDM支持对作业进行分组,分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。
错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码: 401 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String
图7 表到文件的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理
2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连接MRS 2.x版本的集群。 由于当前CDM Hive连接是从MRS HDFS组件获取core-site.xml配置信息,所以在MRS侧使用的是Hive over OBS场景时,在创建Hive连接前
查询作业实例详情 功能介绍 查询指定作业实例详情信息,包括作业实例内各个节点的执行信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}/instances/{instance_id}
在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA时,如果迁移作业失败,且执行日志中出现“value too long for type character varying”错误提示,如图1所示。 图1 日志信息 原因分析 这种情况一般是在迁移到DWS时数据有中文,且创建作业时选
单位:Count/个。 0~2147483647 CDM集群实例 1分钟 pg_failed_job_rate 失败作业率 该指标为从物理机层面sqoop进程采集的失败作业率。 单位:%。 0.001%~100% CDM集群实例 1分钟 inodes_usage Inodes利用率
触发告警通知。 在作业执行人和作业取消人不一致的场景下,会触发作业取消告警通知。 失败作业重跑成功 说明: 失败重跑后成功且失败的时候发送过失败告警才予以通知,如果作业失败不配置失败通知,则该当失败作业重跑成功后也不会进行通知。 作业改动 除了作业责任人外,其他人对作业进行改动(
约束限制 需要源端和目的端字段类型及精度设置一致,否则可能导致作业运行失败。 同步任务源端和目标端字段类型需要注意精度,如果目标端字段类型最大值小于源端最大值(或最小值大于源端最小值,或精度低于源端精度),可能会导致写入失败或精度被截断的风险。 前提条件 已完成数据连接的创建,且创建的连
将待发送的请求内容按照与API网关后台约定的规则组装,确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到HTTP请求中,或者作为查询字符串参数添加到HTTP请求中。 API网关收到请求后,执行1~3,计算签名。
连接DIS时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DIS连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dis_link