检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例场景说明 本示例是一个DataArts Studio全流程入门教程,旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据,选择MRS Hive作为数据湖底座,使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标:
objects 成员列表 create_time Long 创建时间 create_user String 创建用户 update_time Long 修改时间 表4 ResourcePolicyItem 参数 参数类型 描述 resource_id String 资源id resource_name
制样本文件大小不能超过10kb。 测试结果 相关操作 编辑算法:在脱敏算法页面,单击对应算法操作栏中的“编辑”,即可修改算法参数。 不同算法是否支持编辑和支持修改的参数因实际算法不同有所差异,请以操作界面为准。 测试算法:在脱敏算法页面,单击对应算法操作栏中的“测试”,即可测试该算法。
获取schemas 功能介绍 获取schemas,目前只有DWS和采用postgresql驱动的RDS数据源支持schema,请在调用前确认该数据源是否支持schema字段。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/{connection_id}/schemas
令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\java-sdk.zip SHA256 命令执行结果示例,如下所示: SHA256 的 D:\java-sdk
进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表,提供以下批量操作: 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时,会将组内的所有作业都删除。 创建作业的任务配置中,如果已经将作业分配到了不同的分组中,则这里可以按分组显示作业、
配置节点调度任务(实时作业)。 提交版本并解锁:作业调度配置完成后,您需要提交版本并解锁,提交版本并解锁后才能用于调度运行,便于其他开发者修改。具体请参见提交版本。 (可选)管理作业:作业开发完成后,您可以根据需要,进行作业管理。具体请参见(可选)管理作业。 发布作业。企业模式下需要发布作业,具体请参见发布作业任务。
首次进入数据治理中心的数据标准页面,会显示制定数据标准模板的页面,在“可选项”中勾选所需要的选项,添加自定义项,完成后单击“确定”。 保存模板后,如需修改,您也可以进入“配置中心 > 标准模板管理”页面修改模板,详情请参见标准模板管理。在新建数据标准时,将需要设置此处模板中选中的选项。 在“数据标准”页面,在目录树上
随机集群创建作业并执行 功能介绍 随机集群创建作业并执行接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。
objects 成员列表 create_time Long 创建时间 create_user String 创建用户 update_time Long 修改时间 表6 ResourcePolicyItem 参数 参数类型 描述 resource_id String 资源id resource_name
选择“数据权限 > 数据表权限”,在“我的权限”页签中,支持如下操作: 操作 > 查看,查看用户已申请的权限详情。 操作 > 编辑,可修改用户已申请的数据表权限。 操作 > 交还,可交还用户已申请的数据表权限。 图2 管理表权限 审计用户权限 管理员可在“用户权限”页面查看同
parameter_config Array of CustomMetadata objects 自定义元数据信息。 update_time String 修改时间。 user_name String 用户名。 path String 路径。 last_run_time String 最后一次执行时间。
parameter_config 否 Array of CustomMetadata objects 自定义元数据信息。 update_time 否 String 修改时间。 user_name 否 String 用户名。 path 否 String 路径。 last_run_time 否 String 最后一次执行时间。
进入敏感数据分布页面 在敏感数据分布页面,您可以通过如下两种方式之一来查看敏感数据发现结果并进行手工修正。推荐您使用方式1,相比于方式2,方式1支持修改数据密级、分类,无需切换页面即可完成敏感数据查看与修正,并支持批量操作。 (推荐)方式1:在“敏感数据分布”页签,单击展开数据源详情,查看
parameter_config 否 Array of CustomMetadata objects 自定义元数据信息。 update_time 否 String 修改时间。 user_name 否 String 用户名。 path 否 String 路径。 last_run_time 否 String 最后一次执行时间。
objects 成员列表 create_time Long 创建时间 create_user String 创建用户 update_time Long 修改时间 表7 ResourcePolicyItem 参数 参数类型 描述 resource_id String 资源id resource_name
objects 成员列表 create_time Long 创建时间 create_user String 创建用户 update_time Long 修改时间 表7 ResourcePolicyItem 参数 参数类型 描述 resource_id String 资源id resource_name
在企业内被共同遵守。 模型设计:应用逻辑模型、关系建模、维度建模和数据集市的方法,进行分层建模。 逻辑模型:用于创建逻辑模型以及逻辑模型的修改和删除,转化为物理模型。同时,可以对逻辑实体进行创建及发布,进行逆向数据库等操作。 关系建模:基于关系建模,新建SDI层和DWI层两个模型。
令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\java-sdk.zip SHA256 命令执行结果示例,如下所示: SHA256 的 D:\java-sdk