-
新建DWS连接 - 数据治理中心 DataArts Studio
Arts Studio支持的数据源。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 手动 是 选择连接模式。
-
数据质量数据搬迁 - 数据治理中心 DataArts Studio
对账作业导入 在导入记录中,可查看导入状态,显示为成功后即成功导入。 图18 查看对账作业导入结果 搬迁后验证 在新空间的规则模板、质量作业、对账作业导入完成后,您可以在新空间查看并验证规则模板、质量作业、对账作业是否与旧空间一致,以确保导入成功。 父主题: 跨工作空间的DataArts
-
查询作业实例列表 - 数据治理中心 DataArts Studio
forceSuccess 否 boolean 作业实例状态筛选为强制成功 默认值:false ignoreSuccess 否 boolean 作业实例状态筛选为忽略失败 默认值:false version 否 String 作业实例版本。 请求示例 查询批处理作业job_batch的实例列表 GET
-
调用说明 - 数据治理中心 DataArts Studio
调用说明 数据治理中心提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
-
查询作业实例详情 - 数据治理中心 DataArts Studio
forceSuccess 否 boolean 作业实例状态筛选为强制成功 默认值:false ignoreSuccess 否 boolean 作业实例状态筛选为忽略失败 默认值:false 表4 Node属性说明 参数名 是否必选 参数类型 说明 nodeName 是 String 节点名称 status
-
创建IAM用户并授予DataArts Studio权限 - 数据治理中心 DataArts Studio
加工作空间成员并配置角色的具体操作请参见添加工作空间成员和角色。 角色的权限说明请参见权限列表章节。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限,例如: 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首
-
批作业监控 - 数据治理中心 DataArts Studio
补作业的优先级。 说明: 补数据的优先级高于工作空间的补数据优先级。 当前只支持对DLI SQL算子设置优先级。 是否忽略OBS监听 是,补数据场景下,系统会忽略OBS监听。 否,补数据场景下,系统会监听OBS路径。 是否设置运行时间段 设置补数据任务的运行时间段。 是 可以设置补数据任务每天运行的时间段。
-
如何最小化授权用户使用DataArts Studio - 数据治理中心 DataArts Studio
以数据质量为例。 添加工作空间成员并配置角色:将新创建的IAM用户加入到工作空间并配置为新建的自定义角色。 用户登录并验证权限:使用新创建的用户登录控制台,验证权限配置是否符合预期。 图2 最小化授权操作流程 创建用户组并授予系统角色DAYU User 使用华为账号登录统一身份认证服务IAM控制台。
-
开发Pipeline作业 - 数据治理中心 DataArts Studio
作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户,作业不会中断,继续运行。 实例超时是否忽略等待时间 配置实例超时是否忽略等待时间。 如果勾选上,表示实例运行时等待时间不会被计入超时时间,可前往默认项设置修改此策略。 如果未选上,表示实例运行时等待时间会被计入超时时间。
-
DLI Flink Job - 数据治理中心 DataArts Studio
例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。
-
Android - 数据治理中心 DataArts Studio
request.setSecret(sk); request.setMethod("POST"); request.setUrl("https://c967a237-cd6c-470e-906f-a8655461897e.apigw.cn-north-1.huaweicloud
-
DataArts Studio数据开发作业告警最佳实践 - 数据治理中心 DataArts Studio
效。当您参考配置作业失败告警作业设置了异常通知,如果作业实例执行时间超过超时时间,则将触发异常通知,作业不会中断,继续运行。 实例超时是否忽略等待时间:根据实际需要配置实例运行时等待时间是否会被计入超时时间。 图5 配置实例超时时间 配置完成后,单击“提交”,完成作业配置。
-
实时作业监控 - 数据治理中心 DataArts Studio
选择作业并行处理的数量,最大并发数为10。 事件检测间隔 配置事件检测时间间隔。时间间隔单位可以配置为秒或分钟。 失败策略 选择调度失败后的策略: 结束调度 忽略失败,继续调度 图4 DIS调度策略配置 父主题: 作业监控
-
JavaScript - 数据治理中心 DataArts Studio
on"] = opt.headers["Authorization"] 访问API,查看访问结果。如果使用https访问,则将“http.request”改为“https.request”。 1 2 3 4 5 6 7 8 9 10 11 var req=http
-
任务管理 - 数据治理中心 DataArts Studio
据 勾选“忽略更新、添加操作”:不采集数据源中的元数据 数据源元数据已删除 当数据连接中元数据发生变化时,通过配置删除策略,设置数据目录中元数据的更新方式。 勾选“从数据目录中删除元数据”:当数据源中的某些元数据已经被删除,数据目录中也将同步删除对应的元数据 勾选“忽略删除”:当
-
开发实时处理单任务Flink SQL作业 - 数据治理中心 DataArts Studio
作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户,作业不会中断,继续运行。 实例超时是否忽略等待时间 配置实例超时是否忽略等待时间。 如果勾选上,表示实例运行时等待时间不会被计入超时时间,可前往默认项设置修改此策略。 如果未选上,表示实例运行时等待时间会被计入超时时间。
-
配置DWS数据连接 - 数据治理中心 DataArts Studio
Arts Studio支持的数据源。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。 手动 是 选择连接模式。
-
配置Redis连接 - 数据治理中心 DataArts Studio
配置Redis连接 Redis连接适用于用户在本地数据中心或ECS上自建的Redis,适用于将数据库或文件中的数据加载到Redis。 Redis连接不支持SSL加密的Redis数据源。 连接本地Redis数据库时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或
-
PHP - 数据治理中心 DataArts Studio
$sk; 生成一个新的Request,指定方法名、请求url和body。 1 2 $req = new Request('GET', "https://c967a237-cd6c-470e-906f-a8655461897e.apigw.cn-north-1.huaweicloud
-
C# - 数据治理中心 DataArts Studio
HttpRequest r = new HttpRequest("POST", new Uri("https://c967a237-cd6c-470e-906f-a8655461897e.apigw.cn-north-1.huaweicloud