-
CDM Job - 数据治理中心 DataArts Studio
例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。
-
补数据场景使用介绍 - 数据治理中心 DataArts Studio
需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法 准备源表和目的表。为了便于后续作业运行验证,需要先创建DWS源数据表和目的表,并给源数据表插入数据。 创建DWS表。您可以在DataArts Studio数据开发中,新建DWS SQL脚本执行以下SQL命令:
-
配置HTTP源端参数 - 数据治理中心 DataArts Studio
该参数设置为“是”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“否”时,上传到OBS的对象使用的对象名,包含query参数。 否 忽略不存在原路径/文件 如果将其设为是,那么作业在源路径不存在的情况下也能成功执行。 否 MD5文件名后缀 校验CDM抽取的文件,是否与源文件一致,详细请参见MD5校验文件一致性。
-
数据集成数据搬迁 - 数据治理中心 DataArts Studio
开始导入 导入完成后,界面会显示导入情况。如果存在导入失败的情况,请您根据系统报错原因提示,调整后重新导入。 搬迁后验证 在新空间的作业和连接导入完成后,您可以在新空间查看并验证作业和连接是否与旧空间一致,以确保导入成功。 父主题: 跨工作空间的DataArts Studio数据搬迁
-
查询实例运行状态 - 数据治理中心 DataArts Studio
强制成功的实例数量 freeze_count 否 Integer 冻结的实例数量 ignore_success_count 否 Integer 忽略失败的实例数量 manual_stop_count 否 Integer 取消的实例数量 pause_count 否 Integer 暂停的实例数量
-
DLI SQL - 数据治理中心 DataArts Studio
例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。
-
IAM用户操作时报错“无xx权限”怎么办? - 数据治理中心 DataArts Studio
加工作空间成员并配置角色的具体操作请参见添加工作空间成员和角色。 角色的权限说明请参见权限列表章节。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限,例如: 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首
-
管理中心数据搬迁 - 数据治理中心 DataArts Studio
任务列表中查看导入结果。 其中存在子任务失败时,可单击红色子任务名,查看失败原因。 图11 查看导入结果 搬迁后验证 在新空间的资源导入完成后,您可以在新空间查看并验证如下导入资源是否与旧空间一致: 管理中心的数据连接。 数据目录的元数据采集任务,元数据的分类和标签。 数据服务中发布的API。
-
DLI Spark - 数据治理中心 DataArts Studio
例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。
-
查询作业详情 - 数据治理中心 DataArts Studio
作业责任人,长度不能超过128个字符。 isIgnoreWaiting 否 integer 实例超时是否忽略等待时间, 取值范围为0和1, 0:表示实例超时不忽略等待时间1:表示实例超时忽略等待时间 priority 否 int 作业优先级,取值范围[0, 2],默认值是0。0代表高优先级,1代表中优先级,2代表低优先级。
-
Python - 数据治理中心 DataArts Studio
dy。 1 2 3 4 r = signer.HttpRequest("POST", "https://c967a237-cd6c-470e-906f-a8655461897e.apigw.cn-north-1.huaweicloud
-
迁移准备 - 数据治理中心 DataArts Studio
输出详细待迁移数据表、文件个数、大小,用于后续校验。 分批配置迁移任务,保证迁移进度与速度。 校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统
-
调度作业 - 数据治理中心 DataArts Studio
后续启动时,则从前一次记录的位置读取数据。 从最新位置读取:每次启动都会从最新的位置读取数据。 失败策略 选择调度失败后的策略: 挂起 忽略失败,读取下一个事件 “KAFKA”触发事件类型的参数 连接名称 选择数据连接,需先在“管理中心”创建kafka数据连接。 Topic 选择需要发往kafka的消息Topic。
-
创建作业 - 数据治理中心 DataArts Studio
agency 否 String 作业委托的名称 isIgnoreWaiting 否 int 实例超时是否忽略等待时间,取值范围为0和1,默认值为1 0:表示实例超时不忽略等待时间 1:表示实例超时忽略等待时间 priority 否 int 作业优先级,取值范围[0, 2],默认值是0。0代表
-
数据开发数据搬迁 - 数据治理中心 DataArts Studio
图18 导入作业 作业开始导入,导入成功后系统会显示导入的作业名。 图19 导入作业成功 搬迁后验证 在新空间的脚本、作业、环境变量、资源数据导入完成后,您可以在新空间查看并验证这些数据是否与旧空间一致,以确保导入成功。 父主题: 跨工作空间的DataArts Studio数据搬迁
-
新建DWS连接 - 数据治理中心 DataArts Studio
Arts Studio支持的数据源。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 手动 是 选择连接模式。
-
数据质量数据搬迁 - 数据治理中心 DataArts Studio
对账作业导入 在导入记录中,可查看导入状态,显示为成功后即成功导入。 图18 查看对账作业导入结果 搬迁后验证 在新空间的规则模板、质量作业、对账作业导入完成后,您可以在新空间查看并验证规则模板、质量作业、对账作业是否与旧空间一致,以确保导入成功。 父主题: 跨工作空间的DataArts
-
查询作业实例列表 - 数据治理中心 DataArts Studio
forceSuccess 否 boolean 作业实例状态筛选为强制成功 默认值:false ignoreSuccess 否 boolean 作业实例状态筛选为忽略失败 默认值:false version 否 String 作业实例版本。 请求示例 查询批处理作业job_batch的实例列表 GET
-
查询作业实例详情 - 数据治理中心 DataArts Studio
forceSuccess 否 boolean 作业实例状态筛选为强制成功 默认值:false ignoreSuccess 否 boolean 作业实例状态筛选为忽略失败 默认值:false 表4 Node属性说明 参数名 是否必选 参数类型 说明 nodeName 是 String 节点名称 status
-
创建IAM用户并授予DataArts Studio权限 - 数据治理中心 DataArts Studio
加工作空间成员并配置角色的具体操作请参见添加工作空间成员和角色。 角色的权限说明请参见权限列表章节。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限,例如: 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首