检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如CDM不支持源端迁移
和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切
API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据: 云账号的用户名、账号名和项目ID。 创建一个CDM集群,并获取集群ID。 获取方法:在集群管理界面,单击CDM集群名称可查看集群ID,例如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。 创
通过ID获取模型表详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/table-model/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
选择操作列中的“更多 > 重启”。 图5 重启集群 重启CDM服务进程:只重启CDM服务的进程,不会重启集群虚拟机。 重启集群VM:业务进程会中断,并重启集群的虚拟机。 选择“重启集群VM”后单击“确定”。 父主题: 创建并管理CDM集群
小时依赖小时 规则:每个自然小时周期内的实例产生依赖,区间边界是自然小时[00:00,00:59]。 举例1:A依赖B,在同自然小时内,无论A、B设置在什么时间点执行,A永远在B之后执行。 图7 小时依赖小时举例一 举例2:A依赖B,A在每小时5分0秒执行,B在12分执行,A会等B执行完成后执行。
查询模型下所有关系。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/{model_id}/table-model/relation 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云
单击“审批人管理”,进入管理控制台,选择“工作空间”进入。 单击当前工作空间进入空间信息界面。 配置“空间成员”信息。单击“添加”进入添加成员界面。 搜索“成员账号”并设置管理员角色。 单击“确定”。配置好的审批人信息会自动显示出来便于查看。 审批管理 单据提交人可在审批中心页面,查看自己提交的申请及审批进度。
TABLE "schema_name"."table_name" ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS; 设置成功后通过以下SQL可以查询到ALL_COLUMN_LOGGING说明该表已经开通补充日志。 SELECT 'KEY', LOG_GROUP_TYPE
实体、物理表和其属性。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/table-model 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2
其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段访问数据库的权限。各厂商云数据库添加白名单的方法不同,请参考各数据库官方文档进行操作。 同时,其他云数据库若配置了安全组,则还需要增加入方向规则,放通Migration资源组VPC网段,使其可以访问数据库监听端口。
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。
Yarn队列权限前,需要参考同步IAM用户到数据源将IAM上的用户信息同步到数据源上。 MRS Yarn队列权限的策略生效,需要配置YARN严格权限控制,即设置参数“yarn.acl.enable”为true,具体请参见参考:配置Yarn严格权限控制。 约束与限制 当前分配队列资源只支持MRS Yarn队列。队列权限管控只支持MRS
根据入参,手动创建汇总表。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/aggregation-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
根据传入参数,更新衍生指标。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/derivative-indexs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
在“权限集”页面单击“新建”,创建权限集。 图1 创建权限集 新建权限集配置请参考表1,参数配置完成单击“确定”即可。 表1 参数设置 参数名 参数设置 *权限集名称 标识权限集,实例下唯一。 建议名称中包含含义,避免无意义的描述,以便于快速识别所需权限集。 *父权限集 选择对应的
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。