检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脚本列表。 表3 Script参数说明 参数名 是否必选 参数类型 说明 name 是 String 脚本名称,只能包含五种字符:英文字母、数字、中文、中划线和点号,且长度小于等于128个字符。脚本名称不能重复。 type 是 String 脚本类型,包含: FlinkSQL DLISQL
通过SMN节点向用户发送通知消息。 参数 用户可参考表1和表2配置SMN节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 主题名称 是 选择消息的主题,该主题已在SMN服务中创建好。
步骤7:数据质量监控 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控。
查找复合指标 功能介绍 通过中英文名称、创建者、审核人、状态、修改时间、l3Id分页查找复合指标信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/compound-metrics 表1 路径参数 参数 是否必选 参数类型 描述
单击或后,在弹出的新建分类窗口中,参考表1填写数据分类信息。 图2 新建数据分类 表1 参数设置 参数名 参数设置 *分类名称 分类名称只能包含中文、英文字母、数字和下划线。 描述 分类描述支持所有字符输入。 导入预置分类 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。
是否按照天粒度补数据,true表示是,false表示否。 priority 否 int 设置补数据作业的优先级。当系统资源不充足时,可以优先满足优先级较高的作业的计算资源,数字越大优先级越高,当前只支持对DLI SQL算子设置优先级。 is_stop_when_fail 否 Boolean 补数据作业失败时是否停
REAL 同DOUBLE。 - DOUBLE - FLOAT(M,D) 不能使用无符号的浮点数字。可以定义显示长度(M)和小数位数(D)。这不是必需的,并且默认为10,2。其中2是小数的位数,10是数字(包括小数)的总数。小数精度可以到24个浮点。 52.36 FLOAT FLOAT4 DOUBLE(M,D)
数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择
连接”对话框输入对应参数。 配置参数如表1所示: 表1 新建网络连接参数 参数 说明 连接名称 填写待创建的网络连接名称。 只能包含字母、数字和下划线。 资源组 非必选。需要和指定VPC进行网络打通的资源组。 如果创建时未选择资源组,可以在网络连接创建好后再绑定资源组。支持绑定多个资源组,可以通过单击“更多”
配置Elasticsearch/云搜索服务源端参数 作业中源连接为Elasticsearch连接参数说明或云搜索服务(CSS)连接参数说明时,源端作业参数如表1所示。 表1 Elasticsearch/云搜索服务作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引
数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择
of strings 数据库名称数组。 table_model_prefix 否 String 模型校验前缀,长度不超过100,数字字母下划线组成,字母开头 响应参数 状态码: 200 表9 响应Body参数 参数 参数类型 描述 data Object 返回的数据信息。 状态码:
用户可参考表1,表2和表3配置ETL Job节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 ETL配置 是 单击配置需要转换的源端数据和目的端数据。
消息头。 表3 Script参数说明 参数名 是否必选 参数类型 说明 name 是 String 脚本名称,只能包含五种字符:英文字母、数字、中文、中划线和点号,且长度小于等于128个字符。脚本名称不能重复。 type 是 String 脚本类型,包含: FlinkSQL DLISQL
g.”开头,对于不同连接类型有不同的参数,具体可参见连接参数说明下相应连接的参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应的源端参数说明;对于目的端连接参数,则以“toJobConfig.”开头,具体
如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情请参考如下操作指导: 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源,DataArts
源端为PostgreSQL,目的端为DWS 本章节适用于配置实时处理集成作业的PostgreSQL到DWS链路,期望将源端1个或多个PostgreSQL实例的数据实时同步到目的端为DWS数据库的场景。 整库:适用于将1个源端为PostgreSQL实例上的多个数据库表实时同步到1个目标端为DWS实例的多个库表。
数据血缘方案简介 什么是数据血缘 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中
Edition。 不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库:数据湖探索(DLI)
查询采集任务列表 功能介绍 查询采集任务列表。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/metadata/tasks/search 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。