检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据管理 数据管理流程 新建数据连接 新建数据库 (可选)新建数据库模式 新建数据表 父主题: 数据开发
导入开始前 导入数据前,选择是否清除目的表的数据: 不清除:写入数据前不清除目标表中数据,数据追加写入。 清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 是否在集群操作 “导入开始前
是否必选 检查内容 配置指导 数据连接Agent版本 MRS/DWS权限管理时必选 CDM集群为2.10.0.300及以上版本。 登录CDM管理控制台,进入“集群管理”,在集群列表中找到所需要的集群,然后单击集群名称,进入集群“基本信息”页面查看集群版本号。 如果非所需版本,请创
开发数据服务API 购买并管理专享版集群 新建数据服务审核人 创建API 调试API 发布API 管理API 编排API 配置API调用流控策略 授权API调用 父主题: 数据服务
选择是否更新已有数据。 如果系统中已有的表英文名称和模板中的表英文名称相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 单击“添加文件”,选择编辑完成的导入模板。
查询集群概览信息列表 查询集群概览信息列表。 2400 120 查询集群详情信息列表 查询集群详情信息列表。 2400 120 查询集群详情信息 查询集群详情信息。 2400 120 查询数据服务集群访问日志列表 查询数据服务集群访问日志列表。 2400 120 开启数据服务集群OBS日志转储 开启数据服务集群OBS日志转储。
数据分类接口 导入预置分类 查询数据分类列表 父主题: 数据安全API
默认端口。登录MRS ClickHouse数据源所在集群的Manager页面,选择“集群 > 服务 > ClickHouse > 实例”,配置ClickHouseServer的默认端口,非安全模式MRS集群配置“http_port”参数对应的端口,安全模式MRS集群配置“https_port”参数对应的端口。
在“连接管理”页签中,单击“新建连接”,分别创建Oracle数据连接和MRS Hive数据连接,详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件迁移”页签中,单击“新建作业”,创建数据迁移作业。 配置Oracle源端参数、MRS hive目的端参数,并配置传递参数,参数形式为
数据密级接口 获取数据密级 创建数据密级 根据指定的id查询数据密级 删除指定的id的数据密级 根据指定的id修改数据密级 批量删除数据密级 父主题: 数据安全API
保CDM集群与待连接的云服务在同一个VPC。如果CDM集群与其它云服务所属不同VPC,则CDM集群需要通过EIP连接云服务。 当CDM集群与其他云服务所在的区域、VPC、子网、安全组一致时,可保证CDM集群与其他云服务内网互通,无需专门打通网络。 当CDM集群与其他云服务所在的区
创建迁移作业 前提条件 已购买DWS集群,并且已获取DWS数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有DWS数据库的读、写和删除权限。 已获取Oracle数据库的IP、数据库名、用户名和密码。 如果Oracle数据库是在本地数据中心或第三方云上,需要确保Oracle可通过公
待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 驱动版本 不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大
数据架构API 概览 信息架构接口 数据标准接口 数据源接口 码表管理接口 流程架构接口 数据标准模板接口 审批管理接口 主题管理接口 主题层级接口 目录管理 原子指标接口 衍生指标接口 复合指标接口 维度接口 限定接口 维度表接口 事实表接口 汇总表接口 业务指标接口 版本信息接口
“列表文件”选择为“否”时,才有该参数。 待迁移数据的目录或单个文件路径。 待迁移数据的目录,将迁移目录下的所有文件(包括所有嵌套子目录及其子文件)。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
最小化权限授权实践 实践场景及目标 某数据运营工程师专职负责数据质量监控相关工作,仅需要服务数据质量组件的操作权限。 图1 权限体系 服务的权限体系如图1所示。如果项目管理员直接赋予该数据运营工程师IAM账号“DAYU User系统角色+工作空间开发者角色”权限,则会出现如下非必需权限过大的风险:
表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 不自动创表 导入前清空数据 选择目的端表中数据的处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 否 全量模式写Hoodie
数据安全配置数据搬迁 当前暂不支持数据安全数据的导入导出,需要您手动同步各项配置数据和任务。 数据安全的配置数据,需要您按照旧空间的相关配置,手动在新空间进行重新配置。 父主题: DataArts Studio配置数据搬迁实践
MRS Impala SQL 功能 通过MRS Impala SQL节点执行数据开发模块中预先定义的Impala SQL脚本。 参数 用户可参考表1和表2配置MRS Impala节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数
数据安全 数据安全概述 数据安全总览页面 统一权限治理 敏感数据治理 敏感数据保护 数据安全运营 管理回收站