检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
状态码: 200 OK { "cluster_id" : "c94a9133-ef65-47ad-9483-bfa8c5eaa101", "cluster_name" : "dws_ssl_4autotest_nomodify", "cluster_type" : "DWS"
Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“业务指标监控 > 规则管理”。 单击“新建”,在弹出的对话框中,参见表2配置相关参数,新建规则。 表2 配置业务规则参数 参数名 说明 规则名称 业务规则的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 描述
据分类三类任务的运行日志。 更多 > 取消:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。状态为执行中的实例,单击取消,可终止重跑此实例。 更多 > 扫描结果:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。可用于查看
应用管理接口 创建应用 查询应用列表 更新应用 删除应用 查询应用详情 父主题: 数据服务API
集群管理接口 查询集群概览信息列表 查询集群详情信息列表 查询集群详情信息 查询数据服务集群访问日志列表 开启数据服务集群OBS日志转储 开启数据服务集群LTS日志转储 父主题: 数据服务API
于个人调试开发。在开发态下,可以随意编辑、保存、运行脚本/作业,不会影响调度中的脚本/作业;另外在作业关联脚本、配置作业依赖时,被关联的脚本/作业均会读取开发态的配置。 生产态:提交后版本的脚本/作业为生产态,用于正式调度。在正式调度中,调用脚本、实例重跑、作业依赖、补数据等场景均是关联脚本/作业最新的已提交版本。
消息管理接口 查询消息列表 处理消息 获取消息详情 父主题: 数据服务API
在弹出的对话框中,显示“配置基本属性”页面,参见表1配置相关参数。 表1 基本属性 数据连接类型 参数说明 DLI 请见表5的“基本属性”部分 DWS 请见表6的“基本属性”部分 MRS Hive 请见表7的“基本属性”部分 单击“下一步”,在“配置表结构”页面配置如表2所示的参数。 表2
流程设计页面。 单击流程列表上方的“导入”按钮导入流程。 在“导入流程”对话框中,根据页面提示配置如下参数,然后先单击“添加文件”后,再单击“上传文件”。 图4 导入流程 表2 导入配置参数说明 参数名 说明 更新已有数据 如果所要导入的流程,在DataArts Studio数据
根据处理人、实例名称进行搜索展示规则实例的列表信息,输入内容支持模糊搜索。 5 SQL并发数配置 单击SQL框,进入“单连接SQL并发数配置”页面,配置SQL并发数。输入值必须在10到1000之间。单击“确定”,完成配置。 说明: 并发数是指单个数据连接下的SQL并发数,如果超出则等待排队执行。
String 工作空间名称 表6 PermissionApprovalDetailDTO 参数 参数类型 描述 cluster_id String 集群id cluster_name String 集群名称 datasource_type String 数据源类型 HIVE数据源 DWS数据源
trade_report:根据trade_log统计产生,记录每日交易汇总。 前提条件 已建立DLI的数据连接,以“dli_demo”数据连接为例。 如未建立,请参考配置DataArts Studio数据连接参数进行操作。 已在DLI中创建数据库,以“dli_db”数据库为例。 如未创建,请参考新建数据库进行操作。
作业脚本保存下来,仅在需要的时候再重新创建集群和重新导入作业。 批量创建作业任务:可以先手工创建一个作业,导出作业配置(导出的文件为JSON格式),然后参考该作业配置,在JSON文件中批量复制出更多作业,最后导入CDM以实现批量创建作业。 操作步骤 进入CDM主界面,单击左侧导航
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本开发导航栏,选择,展开DWS数据连接,选择需配置的数据库,展开目录层级至“schemas”,右键单击“schemas”,选择“新建模式”。 在弹出的“新建模式”页面,配置如表1所示的参数。 表1 新建模式 参数 是否必选 说明 模式名称 是 数据库模式的名称。
当前只有yarn队列涉及。 conn_id String 数据连接id。 conn_name String 数据连接名称。 cluster_id String 集群id。 cluster_name String 集群名称。 create_time Long 队列加入此空间的时间。 create_user
分布情况。 可选周期内的告警趋势图、业务场景看板图、指标看板图。 指标管理 指标管理是业务指标监控的核心功能模块,是配置指标的主要入口。 规则管理 规则管理是配置规则的主要入口,支持通过指标的逻辑表达式定义规则。 业务场景管理 业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。
表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 表3 请求Body参数 参数 是否必选
进入时间周期页面后,单击“新建”按钮。 在新建时间周期页面,参考表1配置参数。 图2 时间周期 表1 新建时间周期参数说明 参数名称 说明 *周期名称 只能包含中文、英文字母、数字和下划线,且必须以中文或英文字母开头。 *周期编码 只能包含英文字母、数字和下划线。 *时间配置 可选择“按年”、“按月”、“按日”
云服务之间的关系 如果多个云服务一起搭配使用,需要注意不同区域的云服务内网不互通。 例如DataArts Studio(包括管理中心、CDM等组件)需要与MRS、OBS等服务互通时,如果DataArts Studio与其他云服务处于不同区域的情况下,需要通过公网或者专线打通网络;而在同区域情况
当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。 质量作业 质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。 对账作业