正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 密钥(SK) 登录DIS服务器的密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 - 项目ID DIS的项目ID。 - 父主题: 配置连接参数
的创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求,在DLI控制台中开发相应的SQL脚本进行贸易统计分析。 父主题: 案例:贸易数据统计与分析
linkConfig.sk 是 String DIS服务端的SK。 linkConfig.projectId 是 String 项目ID,获取方法请参见项目ID和账号ID。 父主题: 连接参数说明
使用前必读 概述 终端节点 项目ID和账号ID 基本概念
细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 /user/output 文件格式 写入后的文件格式,可选择以下文件格式:
细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 是否压缩 导入数据到DWS
予的权限对云服务进行操作。 CDM部署时通过物理区域划分,为项目级服务,需要在各区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效。如果需要所有区域都生效,则需要在所有项目都设置权限。访问CDM时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。
availability_zones 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 region_id 是 String 通过调用IAM服务的“查询区域列表”接口获取响应消息中的区域ID。 请求参数
1/{project_id}/flavors/{flavor_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 flavor_id 是 String 规格ID,获取方法请参见查询版本规格。 请求参数 表2 请求Header参数
cluster_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID cluster_id 是 String 集群ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型
odify/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String CDM集群ID,获取方法请参见查询集群列表。 请求参数 表2 请求Header参数
通过时间宏变量+定时执行作业,可以实现数据库增量同步和文件增量同步。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 dateformat dateformat支持两种形式的参数:
通过时间宏变量+定时执行作业,可以实现数据库增量同步和文件增量同步。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 dateformat dateformat支持两种形式的参数:
析。例如:某个集群作用于A部门,我们可以用该部门名称作为标签,设置到被使用的集群上。在分析话单时,就可以通过该部门名称的标签来分析此部门的开发使用成本。 CDM以键值对的形式来描述标签。一个集群默认最大拥有10个标签。每个标签有且只有一对键值。键和值可以任意顺序出现在标签中。同一
b/{job_name}/start 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID cluster_id 是 String 集群ID job_name 是 String 作业名称 请求参数 表2
astore_id}/flavors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 datastore_id 是 String 版本ID,获取方法请参见CDM支持的版本。 请求参数 表2 请求Header参数
1/{project_id}/datastores 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
1/{project_id}/clusters 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
OMS用于入云迁移,支持以下源端云服务商:亚马逊云、阿里云、微软云、百度云、青云、七牛云、腾讯云。 CDM主要用于OBS数据迁移到数据湖或其他大数据系统,以便对数据进行开发、清洗、治理等。同时,整桶迁移建议使用OMS。 什么是对象存储迁移服务(OMS)? 对象存储迁移服务(Object Storage Migration
linkConfig.region 是 String DLI服务所在的区域。 linkConfig.projectId 是 String DLI服务的项目ID。 父主题: 连接参数说明