检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步场景:包含单表、整库、分库分表场景,各数据源支持的场景不一,详情请参见使用教程。 不同场景介绍如表1所示。 表1 同步场景参数说明 场景类型 说明 单表 支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库 支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表,一个任务中最多支持200张目标表。
步至Hetu的权限。 同步到Hetu端的Ranger的策略命名格式为“catalog名_schema名+表名+列名”。如果Hetu端的Ranger上已有相同资源、名称的策略,则会导致同步权限至Hetu端的失败,此时需要手动清理Hetu端的Ranger上资源、名称冲突的策略。 创建hetu权限同步策略
配置空间权限集 在数据访问权限管理的实际场景下,通常会有一级部门、二级部门、三级部门等多级权限的划分。为此,数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限,在此基础上,将其向下拆分出新的子权限集,提供进一步的细分权限管理。 空间权限集作为DataArts
Dummy节点是一个空的节点,不执行任何操作。用于简化节点的连接视图,便于用户理解复杂节点流的连接关系,示例如图1所示。 图1 连接方式对比 参数 用户可参考表1配置Dummy节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”
无需选择,自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *schema 选择敏感数据所在的schema。 *数据表 选择敏感数据所在的数据表。 *数据列 您需要勾选一个或多个待脱敏列,并根据不同数据列的数据类型,选择合适的脱敏规则。各类数据源中不同数据类型支持的脱敏规则不同,详见参考:动态脱敏规则介绍。
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求成功。 400 请求错误。 401 鉴权失败。 403
原子指标是计算逻辑的标准化定义,时间周期则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建,时间周期在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间周期的定义可能来自于归属不同数据域的多个逻辑表,因此一个时间周期可能归属于多个数据域。
数据开发的并行执行节点数是多少? DataArts Studio的并行执行节点数与作业节点调度次数/天配额有关,对应关系如下表所示。 其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额。
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoin
人员能力 数据安全治理离不开相应人员的具体执行,人员的技术能力、管理能力等都影响到数据安全策略的执行和效果。因此,加强对数据安全人才的培养是数据安全治理的应有之义。组织需要根据岗位职责、人员角色,明确相应的能力要求,并从意识和能力两方面着手建立适配的数据安全能力培养机制。 意识能力培
在脚本目录中,右键单击目录名称,选择“新建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 目录名称 脚本目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。 选择目录 选择该脚本目录的父级目录,父级目录默认为根目录。 单击“确定”,新建目录。
选择DLI的数据目录。 在DLI默认的数据目录dli。 在DLI所绑定的LakeFormation已创建元数据catalog。 数据库 选择数据库。 DLI数据目录如果选择DLI默认的数据目录dli,表示为DLI的数据库和数据表。 DLI数据目录如果选择DLI所绑定的LakeFo
数据源待迁移数据:通过对等的CDM或DRS等数据迁移服务作业进行同步,保证生产环境和开发环境的数据湖服务数据一致。 变更内容 工作空间模式升级后会在原简单模式工作空间对应的生产环境基础上,增加了与生产环境隔离的开发环境。 简单模式升级企业模式 对于简单模式的工作空间,DAYU Administrator、Tenant
REPLICATION:在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。
”可以查看所传递的数据开发的参数以及参数值。 告警条件 告警表达式 此参数可选,如果您需要针对当前规则设定告警条件,则可以在此配置告警条件的表达式。如果您需要通过多条规则的逻辑运算统一设置告警条件的表达式,此处无需设置,可在下一步的告警配置中统一设置。 配置规则的告警条件后,系统
在战略层面,由数据治理Sponsor和各部门负责人组成的数据治理领导组制定数据治理的战略方向,以构建数据文化和氛围为纲,整体负责数据治理工作的开展、政策的推广和执行,并作为数据治理问题的最终决策组织解决争议,监控和监督数据治理工作的绩效,并确保数据治理工作预算支持。 数据治理委员会和
为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 在左侧导航栏选择“元数据采集
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK 400 Bad Request 父主题: 权限管理接口
)时,使用数据连接中的账号密码进行认证。为实现不同用户访问数据源时,能够根据其自身用户信息管控用户访问数据的权限,需要先将IAM上的用户信息同步到数据源上,然后不同用户在数据源上才能有不同的身份,便于后续在数据权限管理中使用自身用户信息进行认证。 值得注意的是,DataArts
如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题? 问题场景 创建API时,已打开“返回总条数”开关。当API对应的数据表数据量较大时,获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时,您可以通过参数(参数名use_total_num)控制是否计算并返回数据总条数。