检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以更好地管理和分组计量自己的数据。 定义识别规则 定义敏感数据识别标准。 定义识别规则组 通过定义敏感数据识别规则及规则组,来有效识别数据库内的敏感数据。 敏感数据发现 创建并运行敏感数据识别任务。 敏感数据分布 查看敏感数据识别任务识别出的敏感数据。 父主题: 敏感数据治理
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业,将MySQL原始数据定期同步到OBS和MRS Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。
创建并管理工作空间 购买DataArts Studio实例的用户,系统将默认为其创建一个默认的工作空间“default”,并赋予该用户为管理员角色。您可以使用默认的工作空间,也可以参考本章节的内容创建一个新的工作空间。 DataArts Studio实例内的工作空间作为成员管理、
理服务(简称TMS)通过标签识别、管理多种云资源,使资源管理变得更加轻松。 当拥有多个DataArts Studio实例时,您可以按使用者、维护者或用途等各类维度为各实例添加标签,然后在DataArts Studio实例列表页面,可以通过标签搜索、识别DataArts Studio实例。
建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 目录名称 脚本目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。 选择目录 选择该脚本目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。
SQL、Spark SQL、Presto SQL、Shell、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala SQL脚本。脚本每执行一次,生成一个脚本实例。执行脚本接口是一个异步命令,需要通过查询脚本实例执行结果获取执行状态和结果。
新建场景。 表2 配置业务场景参数 参数名 说明 基本配置 业务场景名称 业务场景的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 描述 为更好的识别业务场景 ,此处加以描述信息。描述信息长度不能超过256个字符。 所属目录 业务场景的存储目录,可选择已创建的目录。目录创建请参见图1。
配置相关参数,新建规则。 表2 配置业务规则参数 参数名 说明 规则名称 业务规则的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 描述 为更好的识别业务规则,此处加以描述信息。描述信息长度不能超过4096个字符。 所属目录 业务规则的存储目录,可选择已创建的目录。目录创建请参见图1。
定”完成工作空间的创建。 图6 空间信息 表1 新建空间参数说明 参数名 说明 空间名称 空间名称,只能包含字母、数字、下划线、中划线、中文字符,且长度不超过32个字符。在当前的DataArts Studio实例中,工作空间名称必须唯一。 空间描述 空间的描述信息。 空间模式 选
指标管理”。 单击“新建”,在弹出的对话框中,参见表2配置相关参数。 表2 配置业务指标参数 参数名 说明 指标名称 业务指标的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 数据连接 从下拉列表中选择已创建的数据连接。 说明: 支持的数据连接类型:DWS、MRS Hive、DLI、MRS
关联质量规则Sheet页参数说明 参数名 参数说明 *表名称 表英文名称,只能包含英文字母、数字、下划线、$、{、},且不能以数字开头。 *属性名称(ENG) 表中的属性字段的英文名称。只能包含英文字母、数字和下划线,且以英文字母开头。 规则名称 填写已有的规则名称。在DataArts Stud
support auto create empty table with no column”。 原因分析 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数据表命名需要满足以下约束:长度不超过63个字符,以字母或下
购买数据集成资源组增量包 购买数据服务专享集群增量包 购买作业节点调度次数/天增量包 购买技术资产数量增量包 购买数据模型数量增量包 父主题: 购买并配置DataArts Studio
连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
基本信息参数配置 参数名 参数描述 *任务名称 嵌入水印任务的名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1~64个字符。 为便于水印嵌入任务管理,建议名称中标明要嵌入水印的对象和水印标识。 描述 为更好地识别嵌入水印任务,此处加以描述信息。 *水印标识 系统会将水印标识嵌
选择执行Shell脚本的主机。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。
即可。 图4 新建样本窗口 表1 新建样本参数配置 参数 参数描述 *名称 样本名称,只能包含英文字母、数字、“_”,且长度不能超过64个字符,超出部分将被截断。 描述 为更好地识别样本,此处加以描述信息,长度不能超过1024个字符。 *分类 默认填充分类为左侧选中的样本分类,您也可以单击选择已有分类。
购买并管理专享版集群 如果您对服务的性能需求不大,可使用共享版数据服务,直接进行新建数据服务审核人,而无需单独购买专享版实例。 本小节指导您顺利购买专享版实例,实例创建完成后,才能在数据服务专享版创建API并对外提供服务。 如果需要创建、删除专享版集群或修改API配额,则需具备以下权限之一的账号才能进行操作:
系统默认脚本变量格式为${}。 ${}格式:识别脚本中${}格式的定义,解析其中的字段为变量名,如${xxx},识别为变量名:xxx。 ${dlf.}格式:识别脚本中${dlf.}格式的定义,解析其中的dlf.字段为变量名,其他${}格式定义不再识别为变量,如${dlf.xxx},识别为变量名:dlf.xxx。
随机集群创建作业并执行 功能介绍 随机集群创建作业并执行接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。