检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
*上传模板 选择所需导入的码表文件。所需导入的码表文件,可以通过以下两种方式获得。 下载码表模板并填写模板 在“导入配置”页签内,单击“下载码表导入模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存。模板参数的详细描述,请参见表4。 码表模板填写说明: 模板中参数名称
在数据架构主界面,单击左侧导航栏的“数据标准”,进入数据标准页面。 首次进入数据标准页面,会显示制定数据标准模板的页面,请参考旧空间的“配置中心 > 标准模板管理”页面,修改新空间数据标准模板,完成后单击“确定”。 单击列表上方的“更多 > 导入”按钮,在弹出的导入窗口中,选择并上传需要导入的数据标准文件。
告警阈值”。 图1 告警阈值 配置告警阈值,取值范围在0-100之间,设置为0表示不告警。当配额使用量超出设置的告警阈值时,会触发SMN短信或邮件告警。 进入消息通知服务SMN控制台,单击进入“主题管理 > 主题”,找到主题名称“DGC_Topic_Manager_Schedule_Alarm_项目名称_实例ID”。
如下图所示。 模板 在开发Hive SQL、Spark SQL单任务作业时,系统支持可以引用脚本模板。创建模板的详细操作请参见配置模板,脚本模板的使用场景指导请参见引用脚本模板和参数模板的使用介绍。同时,系统提供了多个Hive SQL、Spark SQL的公共模板,便于用户在开发常用的SQL语句时进行参考。
21600 240 数据标准模板接口 表8 数据标准模板接口 API 说明 API流量限制(次/min) 用户流量限制(次/min) 查询数据标准模板 查询当前工作空间下的数据标准模板。 21600 240 创建数据标准模板 创建当前工作空间下的数据标准模板自定义项。 10800 120
Managed:数据存储位置为DLI的表。 External:数据存储位置为OBS的表。当“表类型”设置为External时,需设置“OBS路径””参数。OBS路径格式如:/bucket_name/filepath。 DWS模型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。
Script、C#、PHP、C++、C、Android等多种语言。 API工具调用:需要通过JavaScript SDK包中的demo.html手动生成签名后,再使用API工具调用。 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 推荐使用
fromJobConfig.inputFormat 是 枚举 传输数据时所用的文件格式,目前支持以下文件格式: CSV_FILE:CSV格式。 PARQUET_FILE:PARQUET格式。 BINARY_FILE:二进制格式。 当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig
8601时间表示方法,格式为yyyy-MM-dd'T'HH:mm:ssZ,例如2018-10-22T23:59:59+08表示的时间为2018年10月22日23时59分59秒,在正8区,即北京时区。 endTime 否 String 调度结束时间,采用ISO 8601时间表示方法,格式为yyy
配置 配置环境变量 配置OBS桶 管理作业标签 配置调度身份 配置节点并发数 配置模板 配置调度日历 配置默认项 配置任务组 配置互斥 父主题: 配置管理
告警阈值”。 图1 告警阈值 配置告警阈值,取值范围在0-100之间,设置为0表示不告警。当配额使用量超出设置的告警阈值时,会触发SMN短信或邮件告警。 进入消息通知服务SMN控制台,单击进入“主题管理 > 主题”,找到主题名称“DGC_Topic_Manager_Schedule_Alarm_项目名称_实例ID”。
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 质量报告接口 导入导出接口
是 Hive作为目的端时,会自动创建存储格式为ORC的表。 由于文件格式限制,当前仅支持ORC与Parquet格式写入复杂类型。 源端Hive包含array和map类型时,目的端表格式只支持ORC和parquet复杂类型。若目的端表格式为RC和TEXT时,会对源数据进行处理,支持成功写入。
查看消息主题信息。 说明: 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 终端协议 是 配置该参数前,请确保工作空间默认项设置中已配置作业告警通知主题。 通知方式选择“按责任人”时才需配置。 短信 邮件 电话 单击“校验联系方式”,系统会自动校验作业责
配置用户数据消费程序的唯一标识符,不存在时会自动创建。 cdm 数据格式 解析数据时使用的格式: 二进制格式:适用于文件迁移场景,不解析数据内容原样传输。 CSV格式:以CSV格式解析源数据。 JSON格式:以JSON格式解析源数据。 二进制格式 字段分隔符 数据格式为“CSV格式”时呈现此参数。默认为逗号,使用Tab键作为分隔符请输入“\t”。
在新建数据标准页面中,3个数据标准可分别参考如下配置,配置完成后单击“保存”。在本示例中,数据标准模板只选取了几个参数,您可以参考配置中心的“标准模板管理”定制数据标准模板。 图18 数据标准-付款方式 图19 数据标准-供应商 图20 数据标准-费率代码 返回数据标准页面后
名称。 field_ids 是 Array of strings 字段id信息,格式:table_id.field_id。 field_names 否 Array of strings 字段名称信息,格式:表名称.字段名称。 cal_exp 是 String 计算表达式,形如'${table_id
8601时间表示方法,格式为yyyy-MM-dd'T'HH:mm:ssZ,例如2018-10-22T23:59:59+08表示的时间为2018年10月22日23时59分59秒,在正8区,即北京时区。 endTime 否 String 调度结束时间,采用ISO 8601时间表示方法,格式为yyy
API编排典型配置 API编排的典型使用场景如下: 对返回消息进行映射或格式转换:通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API:使用API编排后,可以降低调用次数,减少集成成本,提升调用效率。 约束与限制 仅3.0.6及以上版本的数据服务专享版集群支持API编排。
数据架构API 概览 信息架构接口 数据标准接口 数据源接口 码表管理接口 流程架构接口 数据标准模板接口 审批管理接口 主题管理接口 主题层级接口 目录管理 原子指标接口 衍生指标接口 复合指标接口 维度接口 限定接口 维度表接口 事实表接口 汇总表接口 业务指标接口 版本信息接口