检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业开发API 创建补数据实例 查询补数据实例 停止补数据实例 修改作业名称 查询发布包列表 查询指定发布包详情 设置作业标签 查询告警通知记录 发布任务包 撤销任务包 查询实例运行状态 查询任务完成情况 查询指定作业的实例列表 父主题: 数据开发API(V2)
业务指标监控是对业务指标数据进行质量管理的有效工具,可以灵活的创建业务指标、业务规则和业务场景,实时、周期性进行调度,满足业务的数据质量监控需求。 业务指标监控 数据质量监控 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可
定时批写时间间隔:数据定时入库的间隔时间,时间1-1000, 单位为秒。 高级配置:通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size:根据作业配置内存和数据大小设置批写最大内存,单位:Mb。 sink.case-sensitive:是否对字段大
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同
45调度的一个运行实例。 如果作业A在零点进行调度,所依赖作业B可以是昨天的分钟任务。 小时依赖小时 规则:每个自然小时周期内的实例产生依赖,区间边界是自然小时[00:00,00:59]。 举例1:A依赖B,在同自然小时内,无论A、B设置在什么时间点执行,A永远在B之后执行。 图7
path(String jsonStr,String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath,path方法可以通过路径检索或设置JSON,其路径中可以使用.或[]等访问成员、数值,例如:tables[0].table_name。 字符串变量str的内容如下: {
支持对“已提交”、“未提交”、“已调度”和“未调度”的作业进行筛选。同时未提交的作业通过红色进行标识,未调度的作业通过黄色进行标识。 单任务作业支持SQL编辑器风格配置。单击“风格配置”,可以对编辑器、操作栏、注释模板进行配置、以及查询SQL脚本编辑器可使用的快捷键。 单任务SQ
安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规。 功能模块 数据安全包括: 数据密级 对数据进行等级划分,方便数据的管理。 数据分类 基于数据密级,可以进行数据分类,来有效识别数据库内的敏感数据。 脱敏策略 基于数据分类,可以通过创建脱敏策略,实现数据资产的脱敏和隐私保护。
敏感数据识别通过对采集的数据进行识别和梳理,发现其中的敏感数据,以便进行安全管理。 备份与恢复技术是防止数据破坏、丢失的有效手段,用于保证数据可用性和完整性。 数据加密相关工具平台通过提供常见的加密模块及密钥管理能力,落地数据的加密需求。 数据脱敏是通过一定的规则对特定数据对象进行变形的一类技术,用于防止数据泄露和违规使用等。
application/json;charset=UTF-8 Authorization 否 String 使用AK/SK进行认证时该字段必选。 Host 否 String 使用AK/SK进行认证时该字段必选。 表3 Body参数说明 参数名 是否必选 参数类型 说明 key_word 否 String
分页大小参数名称 分页大小参数名称,默认放到query参数中。如果参数名设置为page_size,也支持通过#page_size获取。 page_size 分页页码参数名称 分页参数名称,默认放到query参数中。如果参数名设置为page_index,也支持通过#page_index获取。
据治理方法、总则、工具和平台,协助各数据领域工作组实施数据治理工作,对整体数据治理工作进行度量和汇报,并对跨领域的数据治理问题和争议进行解决和决策。 各领域数据治理工作组:在各领域数据范围内进行数据治理的工作,依据数据治理委员会制定的数据治理方法和总则,制定本领域数据治理目标和工
敏感数据识别与添加标签 从海量数据中将数据进行分类分级,方便进行不同粒度和级别的安全管理。 数据泄露检测与防护 如果出现频繁访问敏感数据的异常行为,可以及时进行风险告警。 数据静态脱敏、数据水印 对于已标记特定安全级别的敏感数据,可在对外提供数据时进行脱敏或者加水印。 个人信息合规 精准区分和保护个人数据,避免产生合规问题。
举例:A依赖B,A为天作业,依赖B小时作业,A依赖B在前一天最后一个周期的小时作业实例执行。 天依赖天 规则:按自然天的上一个周期实例进行依赖。 在同自然天内A依赖B ,无论A、B设置在什么时间点执行,A永远依赖B的前一周期实例执行。 天区间为[00:00:00,23:59:59] 举例:A在2:0
授权用户使用DataArts Studio 授权用户使用DataArts Studio 管理中心 根据自身的业务特点和源数据类型,进行数据存储与分析系统的选型,选取合适的云服务用于存储源数据并进行数据查询和分析。然后,创建该云服务相应的数据连接。 新建数据连接 创建DataArts Studio数据连接
左侧导航栏,包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放,每级目录旁边的数字代表属于该级目录的规则实例的个数。 2 规则实例列表 展示实例名称、类型、运行状态、运行结果等信息。 3 管理区域 可以对所选实例进行导出、删除、停止运行的操作。 4 搜索区域 可以选择性的
返回作业实例开始时间大于min_plan_time的作业实例,单位为毫秒ms,默认设置为查询当天0点,最大可支持查询一个月。 max_plan_time 否 Long 返回作业实例开始时间小于max_plan_time的作业实例,单位为毫秒ms,默认设置为当前时间。 limit 否 int 分页返回结果,指定每页最大记录数。
新建数据迁移的源连接、目的连接 新建表/文件迁移作业 步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据层进行管理和监控,必须先对其元数据进行采集并监控。 元数据采集 采集并监控元数据 步骤5:数据架构设计 数据架构以关系建模、维度建模理论支撑实现规范化、可视化、
法保证消息顺序。 全部投递到Partition 0。 新建Topic的Partition数量:设置新建Topic的Partition数量,默认为3。 Kafka目标端属性配置:支持设置Kafka的配置项,需要增加 properties. 前缀,作业将自动移除前缀并传入底层Kafka客户端,例如:properties
创建DWS数据连接。在DataArts Studio管理中心模块,单击创建数据连接,数据连接类型选择“数据仓库服务(DWS)”,输入数据连接名称,设置其他参数,如下图所示,单击“测试”,提示连接成功,单击“确定”。 创建对账作业。 在DataArts Studio数据质量模块,单击左侧导航菜单“对账作业”。