云服务器内容精选
-
ClickHouse通过MySQL引擎对接RDS服务 MySQL引擎用于将远程的MySQL服务器中的表映射到ClickHouse中,并允许您对表进行INSERT和SELECT查询,以方便您在ClickHouse与MySQL之间进行数据交换。 MySQL引擎使用语法: CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster] ENGINE = MySQL('host:port', ['database' | database], 'user', 'password') 表1 MySQL数据库引擎参数说明 参数 描述 hostport RDS服务MySQL数据库实例IP地址和端口。 database RDS服务MySQL数据库名。 user RDS服务MySQL数据库用户名。 password RDS服务MySQL数据库用户密码。 MySQL引擎使用示例: 连接到RDS服务的MySQL数据库。详细操作可以参考RDS服务MySQ L实例 连接。 在MySQL数据库上创建表,并插入数据。 使用客户端命令连接ClickHouse。 非安全集群连接命令 ./clickhouse client --host 集群内网地址 --port 端口 --user admin --password password 安全集群连接命令,详细操作请参见ClickHouse安全通道章节。 ./clickhouse client --host 集群内网地址 --port 端口 --user admin --password password --secure --config-file /root/config.xml 集群内网地址:集群详情页面中集群访问地址,这里替换成您自己购买的集群的访问地址。 在ClickHouse中创建MySQL引擎的数据库,创建成功后自动与MySQL服务器交换数据。 CREATE DATABASE mysql_db ENGINE = MySQL('RDS服务MySQL数据库实例IP地址:MySQL数据库实例端口', 'MySQL数据库名', 'MySQL数据库用户名', 'MySQL数据库用户名密码'); 切换到新建的数据库mysql_db,并查询表数据。 USE mysql_db; 在ClickHouse中查询MySQL数据库表数据。 SELECT * FROM mysql_table; ┌─int_id─┬─float─┐ │ 1 │ 2 │ └─────┴──── ┘ 新增插入数据后也可以正常进行查询。 INSERT INTO mysql_table VALUES (3,4); SELECT * FROM mysql_table; ┌─int_id─┬─float─┐ │ 1 │ 2 │ │ 3 │ 4 │ └─────┴──── ┘
-
操作步骤 登录图引擎服务管理控制台,在左侧导航栏中选择“数据迁移”。 在“数据迁移”页签单击“新建”。 图1 新建数据迁移 设置数据源配置参数。 任务名称:自定义名称,不能与已有任务名称重复,长度在4位到50位之间,必须以字母开头,不区分大小写,可以包含字母、数字、下划线,不能包含其他的特殊字符。 数据源:根据需要选择已创建完成的数据源。 关联图名称:选择数据源后自动显示。 图2 数据源配置 设置元数据配置。 点文件源列表:选择点数据所在的表,从左侧选中表后需要单击添加到右侧。 边文件源列表:选择边数据所在的表,从左侧选中表后需要单击添加到右侧。 schema文件:首次创建迁移任务时,按步骤5操作生成schema文件,完成后选择schema文件(E CS /BMS+ MRS 模式下需要选择schema文件的存储路径)。 图3 元数据配置 生成schema文件。 单击“生成schema”按钮进行生成。 图4 schema文件 在页面右侧弹出的窗口中,填写“schema名称”,并选择“schema存储路径”,填写完成后单击“确定”提交创建元数据任务。 图5 创建元数据 在弹窗中单击“跳转”会开启一个新窗口跳转到“数据迁移”页面,您可以查看创建元数据任务状态,等待任务执行成功。 图6 创建成功弹窗 图7 查看创建元数据任务状态 在新建数据迁移页面,接着填写信息,设置导入配置。 重复边处理:选择重复边处理策略(持久化版图仅支持覆盖或忽略重复边)。 开启重复边忽略Label:重复边定义是否包含label(持久化版图不涉及)。 开启离线导入:是否离线导入(离线导入期间图不可读不可写,持久化版图不涉及)。 图8 导入配置 设置存储路径配置。 点文件存储路径:用于存放从数据源的数据库导出的点数据。 边文件存储路径:用于存放从数据源的数据库导出的边数据。 日志存放路径:用于存放导入时产生的日志文件。 图9 存储路径配置 全部填写完成后,单击“创建”,在“数据迁移”页签查看迁移任务进度及结果。 图10 查看迁移结果 可以单击操作列的“详情”,查看每个点边数据集的任务状态。 图11 任务详情
-
如何迁移? SFS Turbo的文件系统需要挂载到弹性云服务器、容器或裸金属服务器上,对于SFS Turbo和OBS之间的数据迁移,可以理解为服务器与OBS或者容器与OBS之间的数据迁移,其中服务器或容器中的数据存放在所挂载的SFS Turbo文件系统中。 所以,SFS Turbo文件系统挂载到服务器或容器之后,便可以登录服务器或容器,利用OBS提供的各种工具、API或SDK进行数据迁移。例如,如果希望将SFS Turbo中的数据迁移到OBS中,则需要在服务器或容器中使用OBS的上传功能将数据上传至OBS;反之,使用OBS的下载功能即可将数据从OBS迁移到SFS Turbo(需要读写权限)。 OBS提供如表1所示的方式帮助用户迁移数据。请根据操作系统类型和实际情况选择合适的方式,并参考对应指导文档中的上传/下载相关章节完成数据迁移。 不同方式支持的操作系统、迁移数据量、操作简易程度存在差异,推荐您使用obsutil工具进行数据迁移。 为了节省您的开支,建议您配置内网DNS,通过华为云内网完成数据迁移。具体配置方法,请参见通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型 (支持的具体版本参考对应方式的指导文档) 指导文档 管理控制台 Windows 用户指南 OBS Browser+ Windows OBS Browser+工具指南 obsutil(推荐) Windows/Linux obsutil工具指南 SDK All SDK参考 API All API参考
-
迁移方案总览 表1 迁移方案 源数据库类型 数据量 一次性或持续 应用程序停机时间 迁移方式 文档链接 RDS for MySQL 小型 一次性 一段时间 使用mysqldump工具将数据复制到TaurusDB标准版数据库。 使用mysqldump迁移TaurusDB标准版数据 任何 一次性或持续 最低 使用DRS将表级、库级或实例级数据迁移到TaurusDB标准版数据库。 说明: DRS实时迁移计费说明,请参见DRS迁移计费说明。 RDS for MySQL迁移到TaurusDB标准版 任何 一次性或持续 最低 使用DRS将源库数据同步到TaurusDB标准版数据库。 RDS for MySQL同步到TaurusDB标准版 DDM 任何 一次性或持续 最低 使用DRS将DDM数据同步到TaurusDB标准版数据库。 将DDM同步到TaurusDB标准版 GaussDB 分布式版 任何 一次性或持续 最低 使用DRS将GaussDB分布式版数据同步到TaurusDB标准版数据库。 将GaussDB分布式版同步到TaurusDB标准版 GaussDB主备版 任何 一次性或持续 最低 使用DRS将GaussDB主备版数据同步到TaurusDB标准版数据库。 将GaussDB主备版同步到TaurusDB标准版 TaurusDB标准版 任何 一次性或持续 最低 使用DRS将TaurusDB数据同步到TaurusDB标准版数据库。 将TaurusDB同步到TaurusDB标准版 任何 持续 最低 使用DRS将业务库数据同步到TaurusDB标准版数据库(灾备库)。 说明: 该功能为容灾备份,主要为了解决地区故障导致的业务不可用,为用户业务连续性提供数据库的同步保障。 TaurusDB标准版之间搭建单主灾备 TaurusDB标准版之间搭建双主灾备 本地自建MySQL数据库 ECS自建MySQL数据库 任何 一次性或持续 最低 使用DRS将自建MySQL迁移到TaurusDB标准版数据库。 实时迁移通过增量迁移技术,最大限度允许迁移过程中业务继续对外提供使用,有效的将业务系统中断时间和业务影响最小化,实现数据库平滑迁移上云。 说明: DRS实时迁移计费说明,请参见DRS迁移计费说明。 自建MySQL迁移到TaurusDB标准版 任何 一次性或持续 最低 使用DRS将自建MySQL同步到TaurusDB标准版数据库。 实时同步聚焦于表和数据,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。适用于实时分析,报表系统,数仓环境的场景。 自建MySQL同步到TaurusDB标准版 任何 持续 最低 使用DRS将自建MySQL业务库数据同步到TaurusDB标准版数据库(灾备库)。 说明: 该功能为容灾备份,主要为了解决地区故障导致的业务不可用,为用户业务连续性提供数据库的同步保障。 自建MySQL到TaurusDB标准版单主灾备 自建MySQL到TaurusDB标准版双主灾备 本地自建Oracle数据库 ECS自建Oracle数据库 任何 一次性或持续 最低 使用DRS将自建Oracle数据同步到TaurusDB标准版数据库。 将Oracle同步到TaurusDB标准版 其他云上MySQL数据库 任何 一次性或持续 最低 使用DRS将其他云上MySQL数据库迁移到TaurusDB标准版数据库。 说明: DRS实时迁移计费说明,请参见DRS迁移计费说明。 其他云MySQL迁移到云数据库TaurusDB标准版 任何 一次性或持续 最低 使用DRS将其他云上MySQL数据库同步到TaurusDB标准版数据库。 将其他云MySQL同步到TaurusDB标准版 任何 持续 最低 使用DRS将其他云上MySQL业务库数据同步到TaurusDB标准版数据库(灾备库)。 说明: 该功能为容灾备份,主要为了解决地区故障导致的业务不可用,为用户业务连续性提供数据库的同步保障。 其他云MySQL到TaurusDB标准版单主灾备 其他云MySQL到TaurusDB标准版双主灾备
-
步骤五:优化迁移作业 配置Kettle内存。 为了增加Kettle并发数及缓存数据量大小,可以设置Kettle的内存大小。 用Notpad++打开Spoon.bat脚本,编辑内存相关内容,一般建议为主机内存的60%-80%,如下图所示。 图24 配置内存 配置Job。 当表数据量小于千万时,Job调度的表个数建议配置在10个左右。 对于相对大一点的表,例如1亿左右的数据,建议配置2~3个即可,这样配置,即使其中一个任务中途失败,也可以打开相应的转换任务,单独调度,提高效率。 对于数据量超过1亿以上的表,尤其是字段数特别多的表,Kettle抽取效率相对较慢,可以根据业务实际情况选择相应的迁移方式。 图25 配置Job 在配置任务的时候,尽量将表数据量大致相同的任务放到一个Job中,这样可以保证所有任务执行完成的时间大致相同,不会有拖尾任务,影响下一个job的执行。 如果任务出错,可以查看相应的报错日志,一般情况下遇到的都是源端连接限制导致断开的问题。遇到该情况,可以重启Kettle软件,重试即可。
-
了解Kettle Kettle是一个开源的ETL(Extract-Transform-Load)工具,全称为KDE Extraction, Transportation, Transformation and Loading Environment。它提供了一个可视化的图形化界面,使用户能够通过拖放和连接组件来设计和配置ETL流程。支持多种数据源和目标,包括关系型数据库、文件、API、Hadoop等。Kettle提供了丰富的转换和清洗功能,可以对数据进行格式转换、数据过滤、数据合并、数据计算等操作。 它的主要功能如下: 无代码拖拽式构建数据管道。 多数据源对接。 数据管道可视化。· 模板化开发数据管道。 可视化计划任务。 深度Hadoop支持。 DWS需要绑定公网IP后才能与Kettle连接使用。 Kettle和 云数据迁移 (Cloud Data Migration,简称 CDM )都适用于批处理场景,当数据量或表数量较小时,推荐使用kettle,反之使用CDM。 支持从数据库导出数据到文件,也支持将数据导入到数据库。 Kettle可通过建立触发器、时间戳字段、Kafka等方式实现数据实时同步。 本实践预计时长90分钟,演示迁移Redshift的基本流程如下: 迁移前准备:准备迁移工具Kettle和相关套件包。 步骤一:部署Kettle工具:配置Kettle工具。 步骤二:新建Transformation并配置源端数据库和目标数据库:创建一个transformation任务,配置好源端和目标端数据库。 步骤三:迁移数据:包括全量迁移、增量迁移。 步骤四:并发执行迁移作业:创建一个job,用于并发执行多个transformation任务,达到并发迁移多张表的目的。 步骤五:优化迁移作业:通过调整Kettle内存大小和Job的任务数量,提高迁移效率。
-
步骤三:迁移数据 全量数据迁移 右键编辑Table input,数据库选择源端数据库连接。 图12 编辑Table input 右键编辑DWS TableOutput,数据库选择目的端数据库连接。勾选Turncate table、Specify database fields,同时选择Database fields下的Get fields获取源端和目的端的字段映射连接,单击OK。 图13 编辑Table output 图14 编辑Database fields 配置好后单击Run,开始执行迁移任务。 图15 执行Run 增量数据迁移 增量迁移和全量迁移的步骤大致相同,区别在于源端SQL中增加了where条件,目的端配置去掉了勾选Truncate table。 右键编辑Table input,数据库选择源端数据库连接。 图16 编辑Table input 右键编辑DWS TableOutput,数据库选择目的端数据库连接。去勾选Truncate table,同时选择Database fields 下的Get fields获取源端和目的端的字段映射连接,单击OK。 图17 编辑TableOutput 配置好后单击Run,开始执行迁移任务。 图18 执行Run
-
基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在 IAM 中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和IAM用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 详情请参见区域和可用区。 可用区(AZ,Availability Zone) 一个可用区是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中创建资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。 图1 项目隔离模型 同样在我的凭证下,您可以查看项目ID。 企业项目 企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中可以包含多个区域的资源,且项目中的资源可以迁入迁出。 关于企业项目ID的获取及企业项目特性的详细信息,请参见《企业管理用户指南》。
-
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。 对象存储迁移 服务的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 对象存储迁移服务的终端节点 区 域名 称 区域 终端节点 华北-北京一 cn-north-1 oms.cn-north-1.myhuaweicloud.com 华北-北京四 cn-north-4 oms.cn-north-4.myhuaweicloud.com 华东-上海二 cn-east-2 oms.cn-east-2.myhuaweicloud.com 华东-上海一 cn-east-3 oms.cn-east-3.myhuaweicloud.com 华南-广州 cn-south-1 oms.cn-south-1.myhuaweicloud.com 中国-香港 ap-southeast-1 oms.ap-southeast-1.myhuaweicloud.com 亚太-新加坡 ap-southeast-3 oms.ap-southeast-3.myhuaweicloud.com 华南-广州-友好用户环境 cn-south-4 oms.cn-south-4.myhuaweicloud.com 拉美-圣地亚哥 la-south-2 oms.la-south-2.myhuaweicloud.com 西南-贵阳一 cn-southwest-2 oms.cn-southwest-2.myhuaweicloud.com 华北-乌兰察布一 cn-north-9 oms.cn-north-9.myhuaweicloud.com 亚太-曼谷 ap-southeast-2 oms.ap-southeast-2.myhuaweicloud.com 拉美-墨西哥城二 la-north-2 oms.la-north-2.myhuaweicloud.com 土耳其-伊斯坦布尔 tr-west-1 oms.tr-west-1.myhuaweicloud.com 拉美-圣保罗一 sa-brazil-1 oms.sa-brazil-1.myhuaweicloud.com 亚太-雅加达 ap-southeast-4 oms.ap-southeast-4.myhuaweicloud.com
-
迁移失败原因 失败原因编码 失败原因 处理措施 TRF.0001 系统内部异常。 请单击重启按钮尝试重启迁移任务。 TRF.0003 迁移任务等待超时。 请单击重启按钮尝试重启迁移任务。 TRF.0012 任务参数校验失败。 请确认在所选择的迁移方式下对象存在。 TRF.0013 任务参数校验失败。 请确保对象列表文件存在且可以正常获取(具有读写权限)。 TRF.0014 任务参数校验失败。 请确保对象列表文件为大小不超过100MB的“.txt”文件。 TRF.0015 源端账户不具有BLOB服务,无法实施迁移。 请重新输入可用的源端账户。 TRF.0016 URL列表文件格式错误。 请参照用户指南检查URL列表文件格式,或者联系技术支持。 TRF.0017 指定的列表文件为空。 请检查列表文件。 TRF.0018 任务参数校验失败。 请确保对象列表文件中每一行的长度都不超过65535。 TRF.0019 任务参数校验失败。 请确保对象列表文件的metaData中contentType为text/plain、且不能设置contentEncoding。 TRF.0051 您输入的AK/SK无足够权限访问目的端桶或者对象。 请确认AK/SK有足够权限后重试。 TRF.0052 您输入的AK/SK无足够权限访问目的端桶或者对象。 请确认AK/SK有足够权限后重试。 TRF.0053 由于您的账号状态异常(过期或已被冻结)导致迁移操作无法完成。 请联系客服确认账号状态。 TRF.0054 您输入的AK/SK无足够权限访问目的端桶或者对象。 请确认AK/SK有足够权限后重试。 TRF.0055 目的端桶的剩余空间不足。 请确认该桶具有充足空间后重试。 TRF.0056 您的迁移账户已被冻结。 请解冻后重试。 TRF.0057 您输入的AK/SK无效。 请输入正确AK/SK后重试。 TRF.0058 目的端桶不存在(迁移过程中请勿修改目的端桶或者对象的访问权限)。 请确认桶名正确后重试。 TRF.0059 目的端对象不存在(迁移过程中请勿修改目的端桶或者对象的访问权限)。 请确认桶名或对象名正确后重试。 TRF.0060 用于存储迁移对象的路径太长。 请更改要迁移的对象的名称或路径。 TRF.0061 目的端 对象存储服务 异常。 请稍后重试,或者联系技术支持。 TRF.0062 部分对象上传失败。 请确认没有其他迁移同名对象的任务后重试。 TRF.0063 由于账号余额不足,无法上传OBS导致迁移任务失败。 请检查账户余额或联系客服。 TRF.0151 源端AK/SK无效。 请输入有效的AK/SK后重试。 TRF.0152 您输入的AK/SK无足够权限访问源端桶或者对象。 请确认AK/SK有足够权限后重试。 TRF.0153 您输入的AK/SK无足够权限访问源端桶或者对象。 请确认AK/SK有足够权限后重试。 TRF.0154 您输入的AK/SK无足够权限访问源端桶或者对象。 请确认AK/SK有足够权限后重试。 TRF.0155 源端桶不存在(迁移过程中请勿修改源端桶或者对象的访问权限)。 请确认桶名正确后重试。 TRF.0156 源端对象不存在(迁移过程中请勿修改源端桶或者对象的访问权限)。 请确认桶名或对象名正确后重试。 TRF.0157 源端对象存储服务异常。 请稍后重试,或者联系技术支持。 TRF.0158 任务迁移完成,但目的端对象 数据加密 状态不正确。 请确认目的端区域是否支持KMS加密。 TRF.0159 由于源端对象存储访问频率过高,受源端限制导致任务失败。 请参考返回的error message,或者联系技术支持。 TRF.0160 无法读取归档类型数据。 请解冻数据后进行迁移。 TRF.0201 解冻归档数据失败。 请前往源端手动解冻归档数据后再迁移。 TRF.0202 存在未解冻的归档数据。 请先解冻后再进行迁移。 TRF.0301 选定的对象列表文件属于归档数据无法获取。 请手动解冻后再进行迁移。 父主题: 附录
-
操作步骤 获取IAM用户Token。 接口相关信息 URI格式:POST /v3/auth/tokens 详情请参见获取IAM用户Token(使用密码)。 请求示例 POST: https://{iam_endpoint}/v3/auth/tokens {endpoint}信息请从地区和终端节点获取。 Body: { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "testname", "domain": { "name": "testname" }, "password": "Password" } } }, "scope": { "project": { "id": "0215ef11e49d4743be23dd97a1561e91" } } } } 响应Header中“X-Subject-Token”的值即为Token: X-Subject-Token:MIIDkgYJKoZIhvcNAQcCoIIDgzCCA38CAQExDTALBglghkgBZQMEAgEwgXXXXX... 调用暂停任务接口暂停迁移任务。 接口相关信息 URI格式:POST /v2/{project_id}/tasks/{task_id}/stop 详情请参见暂停迁移任务。 请求示例 POST: https://{oms_endpoint}/v2/{project_id}/tasks/{task_id}/stop {endpoint}信息请从地区和终端节点获取。 Header: Content-Type: application/json X-Auth-Token: “Token” 响应200表示调用成功。 调用查看任务接口,查看任务状态。 接口相关信息 URI格式: GET /v2/{project_id}/tasks/{task_id} 详情请参见查询指定ID的任务详情。 请求示例 GET: https://{oms_endpoint}/v2/{project_id}/tasks/{task_id} {endpoint}信息请从地区和终端节点获取。 Header: Content-Type: application/json X-Auth-Token: “Token” 响应示例 { "bandwidth_policy" : [], "complete_size" : 2223728, "description" : "", "dst_node" : { "bucket" : "api-test-outline", "region" : "cn-north-7" }, "enable_failed_object_recording" : true, "enable_kms" : false, "enable_restore" : false, "error_reason" : null, "failed_num" : 0, "failed_object_record" : { "result" : null, "list_file_key" : null, "error_code" : null }, "group_id" : "", "id" : 200477729979132, "is_query_over" : true, "left_time" : 0, "migrate_since" : 0, "migrate_speed" : 71477, "name" : "task_name", "progress" : 1.0, "real_size" : 2223728, "skipped_num" : 0, "src_node" : { "bucket" : "a-test-1", "cloud_type" : "HuaweiCloud", "region" : "cn-north-7", "app_id" : "", "object_key" : ["01.png", "list.txt"], "list_file" : null }, "start_time" : 1589267678170, "status" : 3, "successful_num" : 2, "task_type" : "object", "total_num" : 2, "total_size" : 2223728, "total_time" : 31111, "smn_info" : null, "source_cdn" : null } status表示任务执行状态,3代表暂停。 调用删除任务接口删除迁移任务。 接口相关信息 URI格式:DELETE /v2/{project_id}/tasks/{task_id} 详情请参见删除迁移任务。 请求示例 DELETE: https://{oms_endpoint}/v2/{project_id}/tasks/{task_id} {endpoint}信息请从地区和终端节点获取。 Header: Content-Type: application/json X-Auth-Token: “Token” 响应200表示删除成功。
-
操作步骤 获取IAM用户Token。 接口相关信息 URI格式:POST /v3/auth/tokens 详情请参见获取IAM用户Token(使用密码)。 请求示例 POST: https://{iam_endpoint}/v3/auth/tokens {endpoint}信息请从地区和终端节点获取。 Body: { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "testname", "domain": { "name": "testname" }, "password": "Password" } } }, "scope": { "project": { "id": "0215ef11e49d4743be23dd97a1561e91" } } } } 响应Header中“X-Subject-Token”的值即为Token: X-Subject-Token:MIIDkgYJKoZIhvcNAQcCoIIDgzCCA38CAQExDTALBglghkgBZQMEAgEwgXXXXX... 调用启动任务接口启动迁移任务。 接口相关信息 URI格式:POST /v2/{project_id}/tasks/{task_id}/start 详情请参见启动迁移任务。 请求示例 POST: https://{oms_endpoint}/v2/{project_id}/tasks/{task_id}/start {endpoint}信息请从地区和终端节点获取。 Header: Content-Type: application/json X-Auth-Token: “Token” Body: { "dst_ak" : "destination_ak", "dst_sk" : "destination_sk", "src_ak" : "source_ak", "src_sk" : "source_sk", "migrate_failed_object" : false } 响应200表示调用成功。 调用查看任务接口,查看任务状态。 接口相关信息 URI格式: GET /v2/{project_id}/tasks/{task_id} 详情请参见查询指定ID的任务详情。 请求示例 GET: https://{oms_endpoint}/v2/{project_id}/tasks/{task_id} {endpoint}信息请从地区和终端节点获取。 Header: Content-Type: application/json X-Auth-Token: “Token” 响应示例 { "bandwidth_policy" : [], "complete_size" : 2223728, "description" : "", "dst_node" : { "bucket" : "api-test-outline", "region" : "cn-north-7" }, "enable_failed_object_recording" : true, "enable_kms" : false, "enable_restore" : false, "error_reason" : null, "failed_num" : 0, "failed_object_record" : { "result" : null, "list_file_key" : null, "error_code" : null }, "group_id" : "", "id" : 200477729979132, "is_query_over" : true, "left_time" : 0, "migrate_since" : 0, "migrate_speed" : 71477, "name" : "task_name", "progress" : 1.0, "real_size" : 2223728, "skipped_num" : 0, "src_node" : { "bucket" : "a-test-1", "cloud_type" : "HuaweiCloud", "region" : "cn-north-7", "app_id" : "", "object_key" : ["01.png", "list.txt"], "list_file" : null }, "start_time" : 1589267678170, "status" : 5, "successful_num" : 2, "task_type" : "object", "total_num" : 2, "total_size" : 2223728, "total_time" : 31111, "smn_info" : null, "source_cdn" : null } status表示任务执行状态,2代表正在执行,5表示执行成功。
-
修订记录 发布时间 修订记录 2023-11-15 第二十三次正式发布。 API V2新增桶操作、云服务、区域 2023-09-20 第二十二次正式发布。 更新终端节点。 2023-04-14 第二十一次正式发布。 更新创建迁移任务组。 2022-09-16 第二十次正式发布。 新增迁移任务组管理。 2022-07-28 第十九次正式发布。 更新终端节点。 2022-06-23 第十八次正式发布。 更新创建同步事件。 2021-05-28 第十七次正式发布。 更新错误码。 2021-02-25 第十六次正式发布。 优化错误码内容。 优化API V2(推荐)内容。 2020-12-28 第十五次正式发布。 优化API V2(推荐)、错误码内容。 2020-09-15 第十四次正式发布。 新增API V2(推荐)内容。 2019-11-30 第十三次正式发布。 在创建任务中,优化object_key、list_file与task_type对应关系说明。 在历史错误码中,新增错误码:S3M.0088。 2019-10-30 第十二次正式发布。 在终端节点中,更新 OMS 的Endpoint。 2019-08-31 第十一次正式发布。 在创建任务的请求参数中,增加参数bandwidth_policy。 增加修改流量控制策略一节。 在查询某个租户的所有任务的响应参数中,增加参数bandwidth_policy。 在查询指定ID的任务的响应参数中,增加参数bandwidth_policy。 在历史错误码中,增加错误码TRF.0013、TRF.0014、TRF.0301、S3M.0083~S3M.0087。 2019-04-29 第十次正式发布。 在创建任务的请求参数中,增加参数auto_restore。 在查询某个租户的所有任务的响应参数中,增加参数auto_restore。 在查询指定ID的任务的响应参数中,增加参数auto_restore。 在历史错误码中,增加错误码S3M.0082、TRF.0063、TRF.0064。 2019-04-17 第九次正式发布。 在认证鉴权中,更新Token认证的内容。 在终端节点中,更新OMS的Endpoint。 在API示例中,参数thread_num更新取值。 在创建任务中,参数region、topicUrn增加说明。 在创建任务中,源端cloud_type参数增加取值“HuaweiCloud”。 在创建任务中,dst_node数据结构的参数object_key修正为必选。 在创建任务中,参数authentication_type、authentication_key更新描述。 在创建任务中,参数enable_failed_object_recording更新描述。 在查询某个租户的所有任务中,参数authentication_type更新描述。 在历史错误码中,增加错误码S3M.0168、S3M.0169、TRF.0160。 2019-01-22 第八次正式发布。 在创建任务中,参数path更新描述。 2018-12-21 第七次正式发布。 在创建任务中,参数obs_bucket增加说明。 在创建任务中,参数protocol增加http取值。 在创建任务中,参数migrate_since更新描述。 在历史错误码中,错误码S3M.0081更新错误信息。 2018-09-30 第六次正式发布。 优化文档整体架构。 新增查询API版本接口。 源端cloud_type参数增加取值KingsoftCloud。 task_type参数增加取值prefix。 object_key参数增加废弃说明。 在API说明章节增加失败对象重传参数。 增加错误码:S3M.0079、S3M.0080、S3M.0081、S3M.0162、S3M.0163、S3M.0167、S3M.0256、TRF.0012、TRF.0159。 2018-08-09 第五次正式发布。 新增任务创建接口传入参数migrate_since, source_cdn, task_type。 新增任务查询接口响应参数source_cdn, task_type。 2018-06-06 第四次正式发布。 增加错误状态码406。 将object_key数据结构的参数名称“Keys”修改为“keys”。 2018-03-02 第三次正式发布。 增加错误码TRF.0158。 增加查询配额的接口。 2018-01-15 第二次正式发布。 修改源端cloud_type参数说明。 2017-09-15 第一次正式发布。
-
调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目列表API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects": [ { "domain_id": "65382450e8f64ac0870cd180d14e684b", "is_domain": false, "parent_id": "65382450e8f64ac0870cd180d14e684b", "name": "project_name", "description": "", "links": { "next": null, "previous": null, "self": "https://www.example.com/v3/projects/a4a5d4098fb4474fa22cd05f897d6b99" }, "id": "a4a5d4098fb4474fa22cd05f897d6b99", "enabled": true } ], "links": { "next": null, "previous": null, "self": "https://www.example.com/v3/projects" } }
-
状态码 状态码如表1所示。 表1 状态码 状态码 描述 说明 200 OK 请求被成功处理。 201 Created 创建类的请求完全成功。 202 Accepted 已经接受请求,但未处理完成。 204 No Content 请求完全成功,同时HTTP响应不包含响应体。 在响应OPTIONS方法的HTTP请求时返回此状态码。 400 Bad Request 非法请求。 建议直接修改该请求,不要重试该请求。 401 Unauthorized 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 404 Not Found 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。 405 Method Not Allowed 请求中带有该资源不支持的方法。 建议直接修改该请求,不要重试该请求。 406 Not Acceptable 服务器无法根据客户端请求的内容特性完成请求。 409 Conflict 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。 415 Unsupported Media Type 服务器无法处理请求附带的媒体格式。 429 Too Many Requests 请求频繁异常 请稍后重试。 500 Internal Server Error 表明服务端能被请求访问到,但是不能理解用户的请求。 501 Not Implemented 服务器不支持请求的功能,无法完成请求。 503 Service Unavailable 被请求的服务无效。 建议直接修改该请求,不要重试该请求。 父主题: 附录
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格