检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过应用授权IAM认证方式API IAM认证方式的API当前支持应用和白名单两种授权方式,通过IAM类型应用授权仅能授权给当前账号,而通过白名单授权可授权给任意账号,请您根据使用场景任选一种方式进行授权。 通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号,每个DataArts
管理动态水印策略 动态水印指在数据的访问过程中,动态地在数据的查询访问请求返回结果集中注入水印的方式。本章主要介绍如何实现数据开发动态水印功能,最终在数据开发组件中转储或下载敏感数据时,系统动态注入数据水印。 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后,当策略中指
owner String 资产责任人。 create_by String 创建人。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 dw_id String 数据连接ID。 db_name String 库名。 tb_id
通过应用授权APP认证方式API 应用定义了一个API调用者的身份。对于使用APP认证方式的API,必须在创建APP类型应用并将API授权给应用后,才能获得认证信息以用于API调用。 一个APP认证方式的API可以授权给多个APP类型的应用,多个APP认证方式的API也可以授权给
配置数据表权限(待下线) 在已上线数据安全组件的区域,数据表权限功能已由数据安全组件提供,不再作为数据目录组件能力。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 用户可以在“我的权限”页面,查看工作空间内自
移动作业/作业目录 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
配置中心 添加审核人 审核人必须是当前工作空间下具有审核权限的成员,需要先在“DataArts Studio首页-空间管理”的工作空间内编辑并添加空间成员。 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据指标”模块,进入数据指标页面。
添加审核人 在数据架构中,业务流程中的步骤都需要经过审批,因此,需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 添加审核人 审核人必须是当前工作空间下具有审核权限的成员,需要先在“DataArts Studio首页-空间管理”的工作空间内编辑并添加空间成员。
为什么权限同步到DLI中,会提示权限不够? 权限同步到DLI的任务通过云服务委托(dlg_agency)完成,因此需要委托拥有IAM认证服务相关权限,具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限(二者选其一配置即可) IAM权限 系统
配置委托时获取委托列表失败如何处理? 可能原因 当配置工作空间级或者作业级委托,查看委托列表时,报错信息如“Policy doesn't allow iam:agencies:listAgencies to be performed.”,可能是权限不足引起的。 解决方案 则需要使
新建数据质量规则 数据质量支持对离线数据的监控,质量规则是数据质量的核心。DataArts Studio系统内置的模板规则共计34种,分为库级规则、表级规则、字段级规则和跨字段级规则、跨源级规则等规则类型,如表1所示。 表1 系统内置的规则模板一览表 规则类型 维度 模板名称 适用引擎
事件管理 基线任务及其上游任务出错,或关键路径上的任务变慢时,将会产生相应的事件,用户可以在事件管理页面查看事件详情。基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警,保障复杂依赖场景下重要数据能在预期时间内顺利产出。 查看事件列表 参考访问DataArts Studio实例控制台,登录DataArts
数据开发API(V2)概览 表1 数据开发API(V2)类型 类型 说明 作业开发 作业开发类型接口。 作业开发 表2 作业开发 API 说明 API流量限制(次/s) 用户流量限制(次/s) 创建补数据实例 创建一个补数据实例。 100 10 查询补数据实例 查询补数据实例列表,支持分页查询。
字符串。 code_table CodeTableVO object 引用码表,只读。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 dw_id String 数据连接ID。 reversed Boolean 是否是逆向的。
机密 SUPER_SECRET: 绝密 apply_bg 否 String 适用bg。 queue_name 否 String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须填写。 dw_id 是 String 汇总表所在的数据连接ID,为32位十六进制数字。 db_name
owner String 资产责任人。 create_by String 创建人。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 dw_id String 数据连接ID。 db_name String 库名。 tb_id
DataArts Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除
定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时,您可以进一步为不同价值的数据定义数据分类,以更好地管理和分组计量自己的数据,让各类各组之间属于并列、平等并且互相排斥的关系,使数据更清晰。本章主要介绍如何定义数据分类。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts
新建Hadoop集群配置 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时,能够简化复杂的连接参数配置,如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类: MRS集群:MRS HDFS,MRS
配置目录权限 本章介绍如何通过目录权限策略,基于用户、用户组或角色,对数据开发中脚本和作业的目录、数据服务专享版中API的目录以及数据架构中的物理模型和逻辑模型进行权限控制。 当工作空间内未配置数据开发、数据服务和数据架构的目录权限策略时,所有用户默认可以查看并操作数据开发、数据服务和数据架构的目录及其中的资源项。