检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
被引用的数据识别规则无法直接删除,需要先解除引用关系后才能删除。 删除操作无法撤销,请谨慎操作。 测试内置规则模板:在“内置规则模板”页签可查看所有内置规则模板,并且根据输入的自定义样例数据,测试验证内置规则模板的识别结果。 父主题: 敏感数据治理
查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍 开发一个Python作业 开发一个DWS SQL作业 开发一个Hive SQL作业 开发一个DLI Spark作业 开发一个MRS
在数据架构主界面,单击左侧导航栏的“数据标准”,进入数据标准页面。 首次进入数据标准页面,会显示制定数据标准模板的页面,请参考旧空间的“配置中心 > 标准模板管理”页面,修改新空间数据标准模板,完成后单击“确定”。 单击列表上方的“更多 > 导入”按钮,在弹出的导入窗口中,选择并上传需要导入的数据标准文件。
告警阈值”。 图1 告警阈值 配置告警阈值,取值范围在0-100之间,设置为0表示不告警。当配额使用量超出设置的告警阈值时,会触发SMN短信或邮件告警。 进入消息通知服务SMN控制台,单击进入“主题管理 > 主题”,找到主题名称“DGC_Topic_Manager_Schedule_Alarm_项目名称_实例ID”。
的表生效。 上传模板 选择所需导入的文件。所需导入的文件,可以通过以下方式获得。 下载关系建模导入模板并填写模板 在“导入配置”页签内,单击“下载指标定义导入模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存。 打开下载的模板,请根据业务需求填写好模板中的相关参数并保存
8601时间表示方法,格式为yyyy-MM-dd'T'HH:mm:ssZ,例如2018-10-22T23:59:59+08表示的时间为2018年10月22日23时59分59秒,在正8区,即北京时区。 endTime 否 String 调度结束时间,采用ISO 8601时间表示方法,格式为yyy
*上传模板 选择所需导入的码表文件。所需导入的码表文件,可以通过以下两种方式获得。 下载码表模板并填写模板 在“导入配置”页签内,单击“下载码表导入模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存。模板参数的详细描述,请参见表4。 码表模板填写说明: 模板中参数名称
告警阈值”。 图1 告警阈值 配置告警阈值,取值范围在0-100之间,设置为0表示不告警。当配额使用量超出设置的告警阈值时,会触发SMN短信或邮件告警。 进入消息通知服务SMN控制台,单击进入“主题管理 > 主题”,找到主题名称“DGC_Topic_Manager_Schedule_Alarm_项目名称_实例ID”。
fromJobConfig.inputFormat 是 枚举 传输数据时所用的文件格式,目前支持以下文件格式: CSV_FILE:CSV格式。 PARQUET_FILE:PARQUET格式。 BINARY_FILE:二进制格式。 当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig
21600 240 数据标准模板接口 表8 数据标准模板接口 API 说明 API流量限制(次/min) 用户流量限制(次/min) 查询数据标准模板 查询当前工作空间下的数据标准模板。 21600 240 创建数据标准模板 创建当前工作空间下的数据标准模板自定义项。 10800 120
Managed:数据存储位置为DLI的表。 External:数据存储位置为OBS的表。当“表类型”设置为External时,需设置“OBS路径””参数。OBS路径格式如:/bucket_name/filepath。 DWS模型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。
Script、C#、PHP、C++、C、Android等多种语言。 API工具调用:需要通过JavaScript SDK包中的demo.html手动生成签名后,再使用API工具调用。 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 推荐使用
查看消息主题信息。 说明: 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 终端协议 是 配置该参数前,请确保工作空间默认项设置中已配置作业告警通知主题。 通知方式选择“按责任人”时才需配置。 短信 邮件 电话 单击“校验联系方式”,系统会自动校验作业责
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 任务实例接口 质量报告接口 导入导出接口
配置 配置环境变量 配置OBS桶 管理作业标签 配置调度身份 配置节点并发数 配置模板 配置调度日历 配置默认项 配置任务组 配置互斥 父主题: 配置管理
配置用户数据消费程序的唯一标识符,不存在时会自动创建。 cdm 数据格式 解析数据时使用的格式: 二进制格式:适用于文件迁移场景,不解析数据内容原样传输。 CSV格式:以CSV格式解析源数据。 JSON格式:以JSON格式解析源数据。 二进制格式 字段分隔符 数据格式为“CSV格式”时呈现此参数。默认为逗号,使用Tab键作为分隔符请输入“\t”。
在新建数据标准页面中,3个数据标准可分别参考如下配置,配置完成后单击“保存”。在本示例中,数据标准模板只选取了几个参数,您可以参考配置中心的“标准模板管理”定制数据标准模板。 图18 数据标准-付款方式 图19 数据标准-供应商 图20 数据标准-费率代码 返回数据标准页面后
8601时间表示方法,格式为yyyy-MM-dd'T'HH:mm:ssZ,例如2018-10-22T23:59:59+08表示的时间为2018年10月22日23时59分59秒,在正8区,即北京时区。 endTime 否 String 调度结束时间,采用ISO 8601时间表示方法,格式为yyy
API编排典型配置 API编排的典型使用场景如下: 对返回消息进行映射或格式转换:通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API:使用API编排后,可以降低调用次数,减少集成成本,提升调用效率。 约束与限制 仅3.0.6及以上版本的数据服务专享版集群支持API编排。
8601时间表示方法,格式为yyyy-MM-dd'T'HH:mm:ssZ,例如2018-10-22T23:59:59+08表示的时间为2018年10月22日23时59分59秒,在正8区,即北京时区。 endTime 否 String 调度结束时间,采用ISO 8601时间表示方法,格式为yyy