检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值: #{Job
p内嵌对象;循环执行的子作业的作业参数名配置后,参数值无需配置可置为空。 当循环执行的子作业需要使用自身参数变量运行时,则本参数可置为空;循环执行的子作业的作业参数需配置参数值。 数据集 是 For循环算子需要定义一个数据集,这个数据集用来循环替换子作业中的变量,数据集应为二维数
行授权。您可以将不同的APP认证方式API授权给不同的应用,提升数据安全性。 描述 对应用的介绍。 单击“确定”,创建应用。 创建应用成功后,在“应用管理”页面的列表中显示新创建的应用和应用ID。 将IAM认证方式的API授权给当前账号 使用IAM认证方式的API,必须将API授
支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 OpenGauss数据源与PostgreSQL一致,可参考本章节配置。 表1 PostgreSQL作为源端时的作业参数 参数类型
指标数据统计的基本计量单位。 *统计周期 指标统计的周期颗粒度。 统计维度 常用的统计维度,维度一般存在层级关系。 *刷新频率 指标数据的刷新的最小频率 统计口径&修饰词 除统计周期和维度外,该指标常用的统计口径&修饰词,限制指标数据的范围。 指标应用场景 描述该指标重要的应用场景,包括在线报表、例行报告、汇报材料等。
对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规
抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如:
“使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E
Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。 在创建DWS类型的数据连接前,您需要先在
根据表guid可以获取表的详情信息,表的详情信息包含column的信息,也可以根据column的guid直接获取column的信息。 添加或修改资产 添加或修改资产。 删除资产 删除资产。 资产分类接口 表6 资产分类接口 API 说明 批量资产关联分类 批量资产关联分类:只支持对数据表的列和OBS对象添加分类。
“使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E
DLI连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dli_link 访问标识(AK) 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。
Studio仅支持其中的IAM角色方式,不支持IAM策略。 IAM角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。传统的IAM角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 I
Studio仅支持其中的IAM角色方式,不支持IAM策略。 IAM角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。传统的IAM角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 I
哈希算法中的“HMAC-SHA256哈希”算法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制,请参考管理脱敏算法。 目标端配置 *数据源类型 选择存储脱敏后数据的数据源类型,支持的脱敏场景如表3所示。 *数据连接 选择已在管理中心组件创建的数据连接。若未创建请参考创建DataArts
授权对象默认为数据开发组件,需选择需要授权的操作,并支持配置单次转储记录值上限。 说明: 数据开发组件中不同数据源的SQL脚本转储支持的单次最大记录值不同,详见下载或转储脚本执行结果。此处配置的记录值上限可参考此规格进行配置。 *授权对象 选择需要授权的用户。 指定用户:可以配置为指定的用户以及用户组。 说明:
安全组。 在相同VPC、子网、安全组中的云服务资源(如ECS),可以使用数据服务专享版实例的私有地址调用API。建议将专享版集群和您的其他关联业务配置一个相同的VPC、子网、安全组,确保网络安全的同时,方便网络配置。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。
数据质量数据搬迁依赖于数据质量监控的规则模板、质量作业、对账作业导入导出功能。 约束与限制 已完成管理中心数据搬迁。 业务指标监控中的指标、规则、业务场景等数据均不支持导入导出,如有涉及,请您进行手动配置同步。 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。 系统支持将自定义的规则模板
支持指定开始日期并查看该日期的前一天/选择天/7天历史平均的运行成功的作业的全部节点算子的任务完成情况的曲线图。 支持指定开始日期并查看前一天/选择天/7天历史平均的运行成功的作业的不同类型节点算子的任务完成情况的曲线图。 基线看板 可以查看基线破线的数据。支持查看今日破线的基线实例数量。当
单击每个对象名称后的统计数量将跳转到该对象的管理页面。 快捷入口 显示数据架构数据治理方法的整体流程。单击流程下的具体操作,可以跳转到对应的界面。 数据架构流程 显示数据架构流程以及与DataArts Studio其他模块间的交互关系。关于数据架构流程的详细描述,请参见数据架构使用流程。 将鼠标移至流程图上的对象名称之上,页面上将显示对象的描述信息。