检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源管理参数 参数 是否必选 说明 名称 是 资源的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~32个字符。 类型 是 选择资源的文件类型: jar:用户jar文件。 pyFile:用户Python文件。 file:用户文件。 archive:用户AI模型文件。
时长,在绑定区域为在DataArts Studio控制台购买的对应实例规格的CDM集群使用。 数据集成CDM集群可用于如下场景: 用于创建并运行数据迁移作业,提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。
化转型。 购买并配置DataArts Studio 注册账号并实名认证 购买DataArts Studio实例 购买DataArts Studio增量包 创建并配置简单模式工作空间 升级企业模式工作空间 授权用户使用DataArts Studio 创建IAM用户并授权 自定义工作空间角色
业testif中的For Each节点识别子作业参数;参数值无需填写。 图7 配置作业参数 配置完成后保存作业。 开发主作业 在“作业开发”页面,新建数据开发主作业testif。选择HIVE SQL节点和For Each节点,选中连线图标并拖动,编排图5所示的作业。 配置HIVE
支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量和函数。 作业开发 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、SQ
enabled(启用AQE用于倾斜的连接操作,可以通过自动检测倾斜的数据并相应地优化连接算法来提高性能) spark.sql.mergeSmallFiles.enabled(启用合并小文件功能,可以通过将小文件合并成较大的文件来提高性能,可以减少处理许多小文件的时间,并通过减少需要从远程存储中读取的文件数量来提高数据本地性。)
Server)、 MongoDB、DWS数据源,无需执行此操作。 表2 MRS类型数据源打通网络 数据源类型 操作方法 MRS Hudi 网络连接创建完成并绑定资源组后,单击右侧“更多 > 修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图6 修改主机信息 查看MRS集群节点IP和域名的方式:
40 识别规则接口 表3 识别规则接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 查询识别规则列表 查询识别规则列表。 3600 40 创建识别规则 创建识别规则。 1800 20 查询特定识别规则 查询特定识别规则。 3600 40 删除识别规则 删除识别规则。
限管理能力。您可以创建空间权限集、权限集或角色,并通过这些权限配置模型实现MRS、DWS、DLI数据的访问控制,按需为用户、用户组分配最小权限,从而降低企业数据信息安全风险。 敏感数据治理 敏感数据识别通过用户创建或内置的数据识别规则和规则组自动发现敏感数据并进行数据分级分类标注。
用户可参考表1和表2配置Data Quality Monitor节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 DQC作业类型 是 数据质量作业的类型: 质量作业
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
数据分类配置说明(仅当数据目录组件中具备数据安全功能时,支持配置该选项;当前暂不支持关联独立数据安全组件中的敏感数据识别规则) 数据分类:勾选此项参见新建数据分类新建分类规则组或者选中已有分类规则组,实现自动识别数据并添加分类。 数据分级:勾选“根据数据分类结果更新数据表密级”,表示可根据匹配的分类规则中,将密级最高的设置为表的密级。
时长,在绑定区域为在DataArts Studio控制台购买的对应实例规格的CDM集群使用。 数据集成CDM集群可用于如下场景: 用于创建并运行数据迁移作业,提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。
在左侧导航栏中进入应用管理,找到API授权的应用,并单击应用名称查看APP的完整信息,保存AppKey和AppSecret。 图1 保存AppKey和AppSecret信息 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的API,并单击API名称查看API的完
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 表3 请求Body参数 参数 是否必选
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
效性负责,确保行为即记录,记录即数据,并依据数据质量规格对本领域数据进行度量和报告。 落实本领域信息架构的建设和遵从,负责本领域数据资产的看护,维护相应数据标准和数据目录并更新发布。 承接上下游数据需求,并主动根据领域内应用场景和业务需求识别数据需求,对需求的实现进行推动和管理。
敏感数据治理 敏感数据治理流程 定义数据密级 定义数据分类 定义识别规则 定义识别规则分组 发现敏感数据 查看敏感数据分布 管控敏感数据 父主题: 数据安全
45小时/月的使用时长,在绑定区域为在DataArts Studio控制台购买的对应资源组使用。 数据集成资源组可用于如下场景: 用于创建并运行实时处理集成作业,提供数据上云和数据入湖的集成能力。 DataArts Studio实例中默认不包含数据集成资源组,如果您需要使用数据离