检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业 编辑1中创建的Flink SQL作业,在SQL编辑器中输入语句。 图8 编辑Flink SQL作业 SQL语句实现的功能: DIS通过工具上传实时数据至DLI,使用1中创建的“dis-alarm-input”通道。 判断告警级别,当告警级别达到指定值时向用户发送短信通知。 D
度CDM作业。 通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。本文以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程 通过CDM节点批量创建分表迁移作业
查询敏感数据保护模块诊断结果 功能介绍 查询敏感数据保护模块诊断结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/sensitive-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id
b="dsfa\;"; --example 1\;example 2. 脚本内容大小不能超过16MB。 使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样,查询结果存到数据库是以YYYY-MM-DD格式,而页面显示查询结果是经过转换后的格式。 Flink SQL作业支持
tart transaction ... commit事务语法。 脚本内容大小不能超过16MB。 使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样,查询结果存到数据库是以YYYY-MM-DD格式,而页面显示查询结果是经过转换后的格式。 当前用户提交Spark S
查询数据源防护模块诊断结果 功能介绍 查询数据源防护模块诊断结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/datasource-protection 表1 路径参数 参数 是否必选 参数类型 描述 project_id
步骤3:服务退订 本开发场景中,DataArts Studio、OBS和DLI服务均会产生相关费用。在使用过程中,如果您额外进行了通知配置,可能还会产生以下相关服务的费用: SMN服务:如果您在使用DataArts Studio各组件过程中开启了消息通知功能,则会产生消息通知服务费用,收费标准请参见SMN价格详情。
指标数据的刷新的最小频率。 统计口径&修饰词 除统计周期和维度外,该指标常用的统计口径&修饰词,限制指标数据的范围。 指标应用场景 描述该指标重要的应用场景,包括在线报表、例行报告、汇报材料等。 备注 在指标描述之外还需要补充的信息,有助于正确理解和使用该指标。 度量对象 衡量该指标的度量字段,如果不涉及可以不填写。
查询数据权限控制模块诊断结果 功能介绍 查询数据权限控制模块诊断结果。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/permission-management 表1 路径参数 参数 是否必选 参数类型 描述
时,需要先使用\将该字符转义成普通字符。 表达式支持以下两个环境变量: value:当前字段值。 row:当前行,数组类型。 表达式支持的工具类用法罗列如下,未列出即表示不支持: 如果当前字段为字符串类型,将字符串全部转换为小写,例如将“aBC”转换为“abc”。 表达式:StringUtils
csv”,将后文提供的样例数据复制粘贴到CSV文件中,然后保存CSV文件。 以下是Windows下生成.csv文件的办法之一: 使用文本编辑工具(例如记事本等)新建一个txt文档,将后文提供的样例数据复制进文档中。注意复制后检查数据的行数及数据分行的正确性(注意,如果是从PDF文档
后文提供的各样例数据分别复制粘贴到不同CSV文件中,然后保存CSV文件。 以下是Windows下生成.csv文件的办法之一: 使用文本编辑工具(例如记事本等)新建一个txt文档,将后文提供的样例数据复制进文档中。注意复制后检查数据的行数及数据分行的正确性(注意,如果是从PDF文档
新建数据质量作业 质量作业可将创建的规则应用到建好的表中进行质量监控。 配置流程 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 (可选)选择“数据质量监控 > 质量作业”,新建目录。如果已存在可用的目录,可以不用新建目录。注意
查看任务监控 监控元数据采集任务运行情况,查看采集日志,支持重跑采集任务。 在数据目录页面,选择“元数据采集 > 任务监控”。在任务监控页面,对采集任务进行监控,参考表1。 表1 监控采集任务 参数名 说明 任务名称 采集任务的名称。 实例状态 实例(即采集任务)的状态。 成功 部分成功
串,常量true、false和null。 表达式支持以下两个环境变量: value:当前字段值。 row:当前行,数组类型。 表达式支持的工具类用法罗列如下,未列出即表示不支持: 如果当前字段为字符串类型,将字符串全部转换为小写,例如将“aBC”转换为“abc”。 表达式:StringUtils
时,需要先使用\将该字符转义成普通字符。 表达式支持以下两个环境变量: value:当前字段值。 row:当前行,数组类型。 表达式支持的工具类用法罗列如下,未列出即表示不支持: 如果当前字段为字符串类型,将字符串全部转换为小写,例如将“aBC”转换为“abc”。 表达式:StringUtils
时,需要先使用\将该字符转义成普通字符。 表达式支持以下两个环境变量: value:当前字段值。 row:当前行,数组类型。 表达式支持的工具类用法罗列如下,未列出即表示不支持: 如果当前字段为字符串类型,将字符串全部转换为小写,例如将“aBC”转换为“abc”。 表达式:StringUtils
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。
时,需要先使用\将该字符转义成普通字符。 表达式支持以下两个环境变量: value:当前字段值。 row:当前行,数组类型。 表达式支持的工具类用法罗列如下,未列出即表示不支持: 如果当前字段为字符串类型,将字符串全部转换为小写,例如将“aBC”转换为“abc”。 表达式:StringUtils
新建数据对账作业 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 数据质量监控中的对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 创建作业 在DataArts