检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。 端口 是 主机的SSH端口号。 KMS密钥 是 通过
原子指标是计算逻辑的标准化定义,时间周期则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建,时间周期在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间周期的定义可能来自于归属不同数据域的多个逻辑表,因此一个时间周期可能归属于多个数据域。
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中选择需要重命名的作业,右键单击作业名称,选择“重命名”。 图2 重命名作业 在弹出的“重命名作业名称”页面,配置新作业名。 图3
间。 自定义字段 配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 配置作业参数 单击编辑器右侧的“参数”,展开配置页面,配置如表4所示的参数。 表4 作业参数配置 功能
Hive和DWS数据源中所有未被标记密级的数据表和字段(包括存量和增量数据)将被标记为默认密级,默认密级支持在数据地图组件中进行展示,并支持通过管控敏感数据进行数据预览时的权限管控。 权限申请时的密级信息来源于数据地图组件,因此也会展示默认密级。除此之外的静态脱敏、动态脱敏时的密级信息来源于敏感数据发现任务,因此不会展示默认密级。
#{StringUtil.split(b,',')[1]} 举例3 当前一节点的输出结果是一个字段时,输出结果如[["000"]]所示。第二个节点引用第一个节点的输出,此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值。 #{StringUtil.split(StringUtil
OBS样本文件只能用于DLI引擎的静态脱敏任务,HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考:静态脱敏场景介绍。 新建样本 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“样本库”,进入样本库管理页面。
在脚本目录中,右键单击目录名称,选择新建相应的脚本。 进入脚本开发页面,具体操作请参见开发SQL脚本、开发Shell脚本、开发Python脚本。 当前最多支持创建5个同类型的临时脚本。当关闭了临时未保存的脚本,再次新建同类型的脚本时,会打开上次未保存的临时脚本。 父主题: 脚本开发
PLE认证模式,只能使用STANDALONE模式或者配置不同的Agent。 说明: STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。
无需选择,自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *schema 选择敏感数据所在的schema。 *数据表 选择敏感数据所在的数据表。 *数据列 您需要勾选一个或多个待脱敏列,并根据不同数据列的数据类型,选择合适的脱敏规则。各类数据源中不同数据类型支持的脱敏规则不同,详见参考:动态脱敏规则介绍。
配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 节点状态轮询时间(秒) 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 设置节点执行的超时时
数据集市 数据集市,也称为DM模型。是汇总表的统称。汇总逻辑表是由一个特定的分析对象(如会员)及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度(如会员),汇总逻辑表面向用户提供了以统计粒度(如会员)为主题的所有统计数据(如会员主题集市)。 汇总表分为“手
史数据,用于批量分析和数据仓库。 实时处理:对源源不断产生的新数据进行实时处理和分析,以满足业务对数据的即时性需求。这种处理方式要求数据在产生后能够立即被处理,并给出相应的结果或触发相应的操作。 选择目录 选择作业所属的目录,默认为根目录。 单击“确定”,创建作业。 父主题: 数据集成(实时作业)
Kerberos认证用户名。 数据源认证及其他功能配置 认证类型 是 手动参数选择连接串模式时的必选项。 选择数据库的认证类型。 包括SIMPLE类型、KERBEROS类型。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 父主题: 配置DataArts Studio数据连接参数
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
100]。 offset 否 Integer 查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整,默认值0。 biz_catalog_id 否 String 所属的业务分层的ID。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
管理所有业务指标,包括指标的来源、定义等,使用目录维护业务指标。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 指标
定义敏感数据识别规则组,可以将多个零散的规则组合成为一个有业务逻辑的规则组,该操作是用户后续进行敏感数据发现任务操作的前提 。 前提条件 识别规则创建完成,请参考定义识别规则。 约束与限制 敏感数据识别过程中,当某个字段同时匹配到识别规则组中的多个识别规则时,此字段密级取多个识别规则的最高密级,字段分类允许有多个。
RDS CloudTable HOST config 否 Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。
单击“选择模板”,选择已创建好的脚本模板,系统支持可以引用多个模板。创建模板的详细操作请参见配置模板。 MRS Flink作业的运行程序参数,请参见《MapReduce用户指南》中的运行Flink作业。 Flink作业执行参数 否 配置Flink作业执行参数。 Flink程序执行的关键参数,该参