检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择需要授权的用户。用户列表来自于工作空间用户。 用户组 选择需要授权的用户组。用户组列表来自于工作空间用户组。 角色 选择需要授权的角色。角色列表来自于系统预置角色和自定义角色。 图2 新建空间资源权限策略 相关操作 编辑策略:在空间资源权限页面,单击对应策略操作栏中的“编辑”,即可编辑策略。
分库分表场景 对于不同库上表可以聚合为一个表,同步时会被统一写入一个目标表中,匹配的分库分表需要保证结构的一致性。 源端配置。 图4 添加逻辑表 逻辑表名:即最终写入到DWS的表名。 源库过滤条件:支持填入正则表达式,在所有Mysql实例中通过该正则表达式过滤出要写入目标端DWS汇聚表的所有分库。
添加自定义字段变成目的端Hudi表的库名。 表匹配策略:配置目标数据表的匹配策略,使数据按照规划迁移至目标表。 用户不需要提前创建对应数据表,后续作业时自动建表。 与来源表同名:会迁移至目的端对应与来源表同名的表中。 自定义:支持用户指定目的端表名,也支持通过内置参数#{sour
启动/停止订阅任务:在动态脱敏订阅页签,单击对应任务操作栏中的“启动”或“停止”,即可启动或停止该任务的调度。 编辑订阅任务:在动态脱敏订阅页签,单击对应任务操作栏中的“更多 > 编辑”,即可编辑订阅任务。 删除订阅任务:在动态脱敏订阅页签,单击对应任务操作栏中的“更多 > 删除”,即可
查询指定API仪表板数据详情 功能介绍 查询指定API仪表板数据详情。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/statistic/apis-dashboards/{api_id} 表1 路径参数 参数 是否必选 参数类型
注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 实例ID可参考如下步骤进行获取: 在DataArts Studio控制台首页,选择对应工作空间,并单击任一模块,如“管理中心”。
chema名+表名+列名”。系统定义的Hive与Hetu间的策略映射关系如表2所示。 表2 Hive与Hetu的策略映射关系 Hive Hetu 资源映射关系 hive数据源 Hetu Catalog hive数据库 Hetu Schema hive表 Hetu表 hive列 Hetu列
下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回收用户权限,用户也可以主动交还不再需要的权限。 权限审批管理:提供可视化、流程化
快速模式。 值得注意的是,库、表、列的权限是分层管理的,例如仅授予库权限后,则被授权用户对表和列依然是无权限的,如需对表或列授权,要再次按照对应层级进行授权。 例如,选择数据库授权,当手动填写数据表表名、或者填写“*”作为通配符时,此授权实际为对表进行授权;当手动填写数据列名、或
数据水印溯源的源文件大小不能超过20MB。 为实现准确溯源,请确保数据的完整性以及正确性:数据水印溯源的表数据文件第一列不允许为空,表数据记录数建议在5000以上。 创建数据水印溯源任务 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“数据
项目ID DLI服务所在区域的项目ID。 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看
批量血缘接口,一次性获取所有作业算子的血缘。该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 表关联作业算子列表(邀测) 查询表相关的作业算子列表,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 产出信息(邀测) 查询表相关的作业算子运行实例信息,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。
数据资产入表 积极拥抱数据资产入表新时代 数据资产入表三步走 华为联合亿信华辰提供数据入表全方位助力 父主题: 数据治理解决方案
e整库迁移到DWS,CDM在DWS上自动建表,会将Oracle的NUMBER(3,0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM在Hive中自动建表时,Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到H
参数名 是否必选 参数类型 说明 total 是 Integer 作业数量 jobs 是 List<Job> 作业列表,参考表3 表3 Job数据结构说明 参数名 是否必选 参数类型 说明 name 是 String 作业名称 jobType 是 String 作业类型: REAL_TIME:实时处理
查询资源列表 功能介绍 查询资源列表。查询时,可指定返回页号和每页的最大记录数。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/resources?offset={offset}&limit=
汇总表接口 查找汇总表 新建汇总表 更新汇总表 删除汇总表 查看汇总表详情 父主题: 数据架构API
中的作业才会发SMN通知。 在“运维调度 > 通知管理”中查看此作业的通知配置开发是否为打开状态。 登录SMN页面,排查对应的SMN主题是否有被订阅。 排查对应SMN主题的订阅终端中是否有自己的终端名,还需确认订阅的状态是“已确认”。 SMN通道异常。可通过在SMN界面中给自己的
导出标签。 导出全部标签:单击标签列表上方的“导出全部标签”,可将所有标签导出。 导出选中标签:勾选本页需要导出的标签,单击标签列表上方的“导出选中标签”,可将本页选中的标签导出。 导出的作业标签如下图所示: 图1 导出作业标签 导出的作业标签表格中,第一行为标签名称,第一列为作业
作业开发 历史数据到源数据表,使用数据集成将历史数据从OBS导入到SDI贴源层的原始数据表。 历史数据清洗,使用数据开发的MRS Hive SQL脚本将源数据表清洗之后导入DWI层的标准出行数据表。 将基础数据插入维度表中。 将DWI层的标准出行数据导入DWR层的事实表中。 数据汇总,通过Hive