检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
引擎已经经过几百个应用的检验。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。 数据质量:可控可检验 数据质量模块支持对业务指标和数据质量进行监控
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
strings 标签。 api_type 否 String API类型。 枚举值: API_SPECIFIC_TYPE_CONFIGURATION: 配置类API API_SPECIFIC_TYPE_SCRIPT: 脚本类API API_SPECIFIC_TYPE_MYBATIS: MyBatis类API
对象存储服务OBS MRS Hudi组件(MRS Hudi作为一种数据格式,元数据存放在Hive中,操作通过Spark进行。在Hudi表开启“同步hive表配置”后,可通过采集MRS Hive元数据的方式采集Hudi表的元数据) [3] 数据质量:数据质量组件中的质量作业和对账作业功能,不支持对接MRS集群存算分离的场景。
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
html,页面如下图所示。 填入Key、Secret、方法名、请求协议、域名和url(认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全)。本示例从前端输入,仅用于演示,例如: 1 2 3 4 Key=4f5f626b-073
件与OBS返回的MD5值进行校验。 toJobConfig.recordMD5Result 否 Boolean 当选择校验MD5值时,这里配置是否记录校验结果。 toJobConfig.recordMD5Link 否 String 可以指定任意一个OBS连接,将MD5校验结果写入该连接的桶。
PATH=/usr/local/dws_client_8.1.x_x64/bin:${PATH} 其中,/usr/local/dws_client_8.1.x_x64是安装的dws客户端的路径。 父主题: 数据开发
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
cal_fn_ids 是 Array of strings 引用函数ID,ID字符串。 front_configs 否 String 前端表达式配置,用于前端数据恢复。 表5 DerivativeIndexDimensionVO 参数 是否必选 参数类型 描述 group_id 是 String
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
进行模糊查询。 如果您只具备开发者权限,则需通过“发布”操作提交任务,由管理员或者部署者审批通过,才能将修改后的脚本同步到生产环境。 单击“发布”后,指定审批人,审批人必须是工作空间的管理员或部署者、拥有DAYU Administrator、Tenant Administrato
Studio控制台,找到需要升级的DataArts Studio实例,单击“升级”,然后根据页面提示购买更高规格的套餐。 版本场景概述 为了实现灵活的资源配置并提供轻量化的数据治理能力,DataArts Studio对的版本模式进行了切换,关于切换前后的新旧版本模式说明详见版本模式说明。 对于后续新购买的DataArts
质量规则接口 表27 质量规则接口 API 说明 API流量限制(次/min) 用户流量限制(次/min) 更新表的异常数据输出配置 更新表的异常数据输出配置,包括是否生成异常数据、设置异常数据数据库或Schema、设置异常表表前缀/表后缀。 10800 120 清空质量规则 清空表的质量规则。
进行模糊查询。 如果您只具备开发者权限,则需通过“发布”操作提交任务,由管理员或者部署者审批通过,才能将修改后的脚本同步到生产环境。 单击“发布”后,指定审批人,审批人必须是工作空间的管理员或部署者、拥有DAYU Administrator、Tenant Administrato
车联网大数搬迁入湖简介场景介绍 场景描述 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud Data Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 约束限制
连接参数 参数 是否必选 类型 说明 linkConfig.deploymentMode 是 枚举 Redis部署方式: Single:表示单机部署。 Cluster:表示集群部署。 linkConfig.serverlist 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。
count Integer 总数量。 resources Array of SubInstanceResult objects 子作业实例资源配置ID。 表4 SubInstanceResult 参数 参数类型 描述 sub_rule_id String 子规则ID。 sub_instance_instance_id
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description