-
复制脚本 - 数据治理中心 DataArts Studio
在脚本目录中选择需要复制的脚本,右键单击脚本名称,选择“拷贝另存为”。 图1 复制脚本 在弹出的“另存为”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 脚本名称 脚本的名称,只能包含字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。 说明:
-
管理资源 - 数据治理中心 DataArts Studio
在资源目录中,单击,弹出“新建目录”页面,配置如表1所示的参数。 表1 资源目录参数 参数 说明 目录名称 资源目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~32个字符。 选择目录 选择该资源目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。
-
数据集市 - 数据治理中心 DataArts Studio
据标准和密级。 图3 属性配置 表2 字段配置参数 参数名称 说明 名称 只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文和英文字母开头。 维度属性的字段会自动显示所添加的维度的代理键名称,一般不需要修改。 英文名称 只能以英文字母开头,支持英文字母、数字、下划线。
-
诊断数据安全风险 - 数据治理中心 DataArts Studio
安全页面。 图2 选择数据安全 单击左侧导航树中的“数据安全诊断”,进入数据安全诊断页面。 图3 数据安全诊断 根据需要,选择敏感数据保护、数据权限控制或数据源保护页签,单击“开始扫描”或“重新扫描”,进行安全诊断。 扫描结束后,请您根据安全扫描结果和处理建议,识别风险项并单击“
-
新建数据标准 - 数据治理中心 DataArts Studio
置数据标准模板的详细信息,请参见标准模板管理。 图4 新建数据标准 表2 数据标准参数说明 参数名称 说明 *标准名称 只能包含中文、英文字母、数字、中英文括号、中英文逗号、空格以及以下特殊字符+、#、_、[]、/,且以中文或英文字母开头。 如果未开启“数据标准是否重名”,需要确
-
管理动态脱敏策略 - 数据治理中心 DataArts Studio
对含有中文字符的数据进行脱敏则可能会出现乱码。 创建动态脱敏策略 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“动态脱敏”,进入动态脱敏页面。 图2 进入动态脱敏页面
-
新建作业 - 数据治理中心 DataArts Studio
建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。 表1 作业目录参数 参数 说明 目录名称 作业目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。 选择目录 选择该作业目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。
-
开发批处理单任务SQL作业 - 数据治理中心 DataArts Studio
应用示例: 在进行转储时,如果引用字符和转义字符不填,如下图所示。 下载的.csv用excel打开以后如下图所示,是分成两行的。 在转储时,如果引用字符和转义字符都填写,比如,引用字符和转义字符都填英文双引号("),则下载以后查看结果如下图所示。 父主题: 作业开发
-
配置资源权限 - 数据治理中心 DataArts Studio
ger服务端口是否正确。 图2 资源权限配置页面 单击待创建权限策略HDFS组件下“hacluster”的“配置” ,进入配置界面单击“创建”,新建权限策略。 图3 新建权限策略 在弹出的策略配置页配置相关参数,配置完成单击“确定”,策略配置完成。 图4 配置权限策略 表2 配置HDFS权限策略参数说明
-
开发SQL脚本 - 数据治理中心 DataArts Studio
应用示例: 在进行转储时,如果引用字符和转义字符不填,如下图所示。 下载的.csv用excel打开以后如下图所示,是分成两行的。 在转储时,如果引用字符和转义字符都填写,比如,引用字符和转义字符都填英文双引号("),则下载以后查看结果如下图所示。 父主题: 开发脚本
-
管控敏感数据 - 数据治理中心 DataArts Studio
默认策略,该策略默认给所有用户最大的密级访问权限;在管理员将策略配置好后,可删除此默认策略。 前提条件 已通过敏感数据识别任务,自动或手动将敏感数据同步到数据地图组件,详见发现敏感数据或查看敏感数据分布。 约束与限制 仅DAYU Administrator、Tenant Admi
-
创建企业模式工作空间 - 数据治理中心 DataArts Studio
Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,如图2所示,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,如图3所示。详细操作请参见DB配置。 图2 创建数据连接时选择同一个集群 图3 DB配置 数据准备与同步 数据湖服务创建完成后,您需要按照项
-
数据安全治理维度 - 数据治理中心 DataArts Studio
场景的具体工作。 图2 数据安全管理制度文件 技术工具 数据安全技术体系并非单一产品或平台的构建,而是覆盖数据全生命周期,结合组织自身使用场景的体系建设。依照组织数据安全建设的方针总则,围绕数据全生命周期各阶段的安全要求,建立与制度流程相配套的技术和工具。 图3 数据安全技术体系
-
构造请求 - 数据治理中心 DataArts Studio
接起来如下所示。 https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens 图1 URI示意图 为查看方便,在每个具体API的URI部分,只给出resource-path部分,并将请求方法写在一起。这是因为URI-scheme
-
通过数据开发使用参数传递灵活调度CDM作业 - 数据治理中心 DataArts Studio
将无法正常写日志或显示日志。 在数据开发作业中添加CDM Job节点,并关联已创建的CDM作业,如图4所示。 图4 关联CDM作业 在作业参数中配置业务需要的参数,如图5所示。 图5 配置作业参数 作业调度执行的过程中,会将该参数值传递给CDM作业,传递的参数“cur_date”可以配置为本示例“2021-11-10
-
管理脱敏算法 - 数据治理中心 DataArts Studio
单击“新建”,新建脱敏算法。 图2 新建脱敏算法 新建脱敏算法参数配置请参考表3,参数配置完成单击“确定”即可。 图3 算法配置 脱敏算法参数说明表: 表3 配置脱敏算法参数说明 配置 说明 *算法名称 用户自定义算法名称,只能包含英文字母、数字、“_”、中文字符,且长度不能超过64个字符。
-
数据治理模块域 - 数据治理中心 DataArts Studio
级数据治理的重要范畴,其目标在于保证在企业范围内重要业务实体数据的一致(定义和实际物理数据的一致)。主数据管理首先进行企业主数据的识别,然后对已识别主数据按照主数据规范要求进行数据治理和IT改造,以支撑企业业务流和工具链的打通和串联。 管理中心 数据治理的开展离不开组织、流程和政
-
流程设计 - 数据治理中心 DataArts Studio
据架构页面。 图1 选择数据架构 单击左侧导航栏中“流程设计”,进入流程设计页面,在流程树中选中一个流程,单击按钮在所选流程下新建流程。首次新建流程时,可选择在流程的根节点下新建流程。 图2 流程设计 在弹出对话框中配置如下参数,然后单击“确定”完成流程的创建。 图3 新建流程 表1
-
获取SQL节点的输出结果值 - 数据治理中心 DataArts Studio
current[0]}和#{Loop.current[1]}。 图5 主作业样例 而For Each节点中所选的子作业,则需要定义For Each节点中的子作业参数名,以便让主作业识别参数定义,作业如图6所示。 图6 子作业样例 配置方法 开发子作业 登录DataArts Stu
-
开发实时处理单任务Flink SQL作业 - 数据治理中心 DataArts Studio
输入Flink作业名称。 系统支持Flink作业名称按照工作空间-作业名称格式自动填入。 说明: 只能包含英文字母、数字、中划线和下划线。最大只能输入64个字符,不能包含中文字符。 MRS集群名 选择MRS集群名称。 说明: 单任务Flink SQL目前支持的MRS集群版本是MRS