检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(可选)修改作业日志存储路径 作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,您也可以自定义日志和DLI脏数据存储路径,支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶,不支持并行文件系统。
新建数据连接 通过新建数据连接,您可以在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下,可支持多个作业运行和多个脚本开发,当数据连接保存的信息发生变化时,您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接
打不开作业日志,返回404报错? 可能原因 作业日志打不开,可能权限不足。 解决方案 作业日志在OBS桶中存储,您需要先在工作空间中配置作业日志的桶目录,然后确认当前账户是否具有OBS读权限(可以通过检查IAM中OBS权限、OBS桶策略来确认)。 OBS路径仅支持OBS桶,不支持并行文件系统。
步骤6:数据开发处理 DataArts Studio数据开发模块可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 使用DataArts Studio数据开发,用户可进行数据管理、数据集成、脚本开
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业,将MySQL原始数据定期同步到OBS和MRS Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。
周:选择星期几启动调度,配置调度具体时间。 月:选择几号启动调度,配置调度具体时间。 例如:选择调度周期是周,选择具体时间为15:52,时间选择为星期二。则在调度日期范围内,每周二的15点52分会执行任务。 立即启动 勾选复选框,则表示立即启动此调度任务。 图4 周期调度配置参数 单击“确定”,完成创建静态脱敏任务。
数据架构示例 DataArts Studio数据架构以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。 本章节操作场景如下: 对MRS Hive数据湖中的出租车出行数据进行数据模型设计。
(可选)自定义工作空间角色 对于DAYU User账号权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求
(可选)自定义工作空间角色 对于DAYU User账号权限的IAM用户而言,DataArts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配,角色的权限说明请参见权限列表章节。 如果预置角色可以满足您的使用需求
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 表3 请求Body参数 参数 是否必选
订阅动态脱敏策略 通过动态脱敏订阅,数据安全可以实现同步第三方平台的动态脱敏策略。 第三方平台的动态脱敏策略发布到Kafka消息队列后,数据安全进行订阅和消费。消息格式满足要求时,待消息消费成功后,数据安全会生成动态脱敏策略(策略名为Kafka消息中的策略名)并同步到MRS Ranger组件中生效。
操作环境与数据准备 操作环境准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作。然后进入到对应的工作空间,即可开始使用DataArts
添加权限集的权限 功能介绍 添加权限集的权限。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-sets/{permission_set_id}/permissions 表1 路径参数 参数 是否必选 参数类型
更新权限集的权限 功能介绍 更新权限集的权限。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/permission-sets/{permission_set_id}/permissions/{permission_id} 表1
步骤1:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列
查询权限集的权限列表 功能介绍 查询权限集的权限列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-sets/{permission_set_id}/permissions 表1 路径参数 参数 是否必选