迁移任务-华为云

云搜索服务 CSS-Logstash配置文件模板介绍:系统模板介绍

系统模板介绍 Logstash集群预置了常见的几种Logstash配置文件模板，请参见表1。表1 Logstash配置文件的系统模板名称描述具体介绍 redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 elasticsearch模板说明 jdbc 从jdbc导入数据到Elasticsearch类型集群。 jdbc模板说明 kafka 从kafka导入数据到Elasticsearch类型集群。 kafka模板说明 beats 从beats导入数据到Elasticsearch类型集群。 dis模板说明 dis 从dis导入数据到Elasticsearch类型集群。 beats模板说明

云搜索服务 CSS 配置Logstash迁移任务

对象存储迁移服务 OMS-创建迁移任务:适用场景

适用场景适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景，通过创建对象存储迁移任务，可将对象数据进行快速迁移。如果单个桶数据量大于3 TB或对象个数大于500万，建议您创建迁移任务组来进行迁移。 OMS 默认会将等待超过30天未调度的任务自动设置为失败，并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中，请控制创建任务的频率。如果单个对象大小超过500G，建议您通过提交工单的方式，开通并发分片白名单配置，提升迁移速率。在迁移过程中，系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹，包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。

对象存储迁移服务 OMS 迁移任务

对象存储迁移服务 OMS-创建迁移任务:前提条件

前提条件已注册华为账号并开通华为云，完成实名认证。已获取源端和目的端账号的AK/SK。源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取方式参见目的端桶权限获取。已在OBS服务中创建桶。您过去24小时内已创建的迁移任务未满1000000个。您名下处于“等待中”状态的迁移任务未满1000000个。

对象存储迁移服务 OMS 迁移任务

对象存储迁移服务 OMS-创建迁移任务组:前提条件

前提条件已注册华为账号并开通华为云，完成实名认证。已获取源端和目的端账号的AK/SK。源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取方式参见目的端桶权限获取。已在华为云OBS服务中创建桶。 24小时内，单个Region内创建迁移任务组数量未满300个。您过去24小时内已创建的迁移任务未满1000000个。您名下处于“等待中”状态的迁移任务未满1000000个。

对象存储迁移服务 OMS 迁移任务组

对象存储迁移服务 OMS-创建迁移任务组:背景信息

背景信息对象存储迁移服务支持迁移以下的源端云服务商或数据源类型：华为云亚马逊云（中国）阿里云微软云腾讯云谷歌云七牛云青云百度云金山云优刻得 HTTP/HTTPS数据源本节以华为云为源端数据源为例进行介绍，其余云服务商创建迁移任务组的详细步骤，您可以参考各云服务商迁移教程。迁移过程中，对象存储迁移服务会调用源端云服务提供商的对象存储服务接口，所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。

对象存储迁移服务 OMS 迁移任务组

对象存储迁移服务 OMS-创建迁移任务组:适用场景

适用场景适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景，迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。 OMS默认会将等待超过30天未调度的任务自动设置为失败，并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中，请控制创建任务的频率。如果单个对象大小超过500G，建议您通过提交工单的方式，开通并发分片白名单配置，提升迁移速率。在迁移过程中，系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹，包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。

对象存储迁移服务 OMS 迁移任务组

云搜索服务 CSS-启动Logstash迁移任务:热启动配置文件

热启动配置文件当管道列表有“工作中”的任务时，通过热启动配置文件启动Logstash迁移任务。一次只能选择一个配置文件进行热启动，即一次只能新增一个管道。在配置文件列表，选择一个需要热启动的配置文件，单击左上角的“热启动”。在“热启动Logstash服务”对话框中，“是否保持常驻”的选项默认与管道列表中其他任务的值保持一致，且不支持修改。单击“确定”，开始热启动配置文件启动Logstash迁移任务。可以在管道列表看到热启动的配置文件。

云搜索服务 CSS 配置Logstash迁移任务

云搜索服务 CSS-启动Logstash迁移任务:监控迁移任务

监控迁移任务当启动配置文件后，在管道列表会生成一个任务， CSS 服务支持查看管道任务的数据监控。在管道列表，单击操作列的“指标监控”，跳转到云监控服务页面，可以查看监控信息。当管道的“事件”数据动态变化时，监控数据也会同步变化；当管道任务在启动中、停止中或事件数据稳定时，监控数据则无变化。支持的监控指标请参考Logstash管道监控指标列表。当需要配置监控告警时，可以参考使用 CES 监控Logstash集群。在管道列表，单击左上方“操作记录”或“运行日志”，可以查看配置文件的启停记录和迁移任务的运行日志信息。

云搜索服务 CSS 配置Logstash迁移任务

云搜索服务 CSS-启动Logstash迁移任务:启动配置文件

启动配置文件当管道列表没有“工作中”的任务时，通过启动配置文件启动Logstash迁移任务。可以同时选择多个配置文件进行启动操作，一次不能超过50个。在配置文件列表，选择需要启动的配置文件，单击左上角的“启动”。在“启动Logstash服务”对话框中，根据业务需要选择“是否保持常驻”。开启“保持常驻”以后，将会在每个节点上面配置一个守护进程，当logstash服务出现故障的时候，会主动拉起并修复。“保持常驻”适用于需要长期运行的业，不适用于短期运行的业务，短期业务如果源端无数据，开启保持常驻会导致任务失败。单击“确定”，开始启动配置文件启动Logstash迁移任务。可以在管道列表看到启动的配置文件。

云搜索服务 CSS 配置Logstash迁移任务

对象存储迁移服务 OMS-创建迁移任务组:响应参数

响应参数状态码： 200 表10 响应Body参数参数参数类型描述 group_id String 创建的迁移任务组id 最小长度：1 最大长度：100 状态码： 400 表11 响应Body参数参数参数类型描述 error_msg String 错误信息。 error_code String 错误码。状态码： 403 表12 响应Body参数参数参数类型描述 error_msg String 错误信息。 error_code String 错误码。状态码： 500 表13 响应Body参数参数参数类型描述 error_msg String 错误信息。 error_code String 错误码。

对象存储迁移服务 OMS 迁移任务组管理

对象存储迁移服务 OMS-创建迁移任务组:请求示例

请求示例创建迁移任务组任务，以hw/目录下的txt文件中的对象列表信息作为华为云桶bucket的源端数据，迁移至目的端桶zzww。 POST https://{endpoint}/v2/{project_id}/taskgroups { "enable_failed_object_recording" : true, "src_node" : { "bucket" : "hw-src", "cloud_type" : "HuaweiCloud", "ak" : "******", "sk" : "******", "region" : "cn-north-7", "list_file" : { "obs_bucket" : "list-file-bucket", "list_file_key" : "hw/" } }, "enable_kms" : false, "task_type" : "LIST", "enable_restore" : false, "dst_node" : { "bucket" : "zzww", "cloud_type" : "HEC", "ak" : "******", "sk" : "******", "region" : "cn-north-7" }, "enable_metadata_migration" : true } 创建迁移任务组任务，将前缀为Objectlist的对象从源端桶src-bucket迁移至目的端桶dst-bucket。 POST https://{endpoint}/v2/{project_id}/taskgroups { "src_node" : { "region" : "cn-north-4", "ak" : "******", "sk" : "******.", "bucket" : "src-bucket", "cloud_type" : "HuaweiCloud", "object_key" : [ "Objectlist" ] }, "dst_node" : { "region" : "cn-north-4", "ak" : "******", "sk" : "******", "bucket" : "dst-bucket" }, "task_type" : "PREFIX", "enable_failed_object_recording" : true, "enable_kms" : false, "bandwidth_policy" : [ { "max_bandwidth" : 1048576, "start" : "00:01", "end" : "23:59" } ] } 创建迁移任务组任务，以test01/路径下的txt文件作为URL列表目录，迁移至目的端桶jjyy。 POST https://{endpoint}/v2/{project_id}/taskgroups { "src_node" : { "cloud_type" : "URLSource", "list_file" : { "obs_bucket" : "url-file-bucket", "list_file_key" : "test01/" } }, "description" : "", "dst_node" : { "region" : "cn-north-4", "ak" : "******", "sk" : "******.", "bucket" : "jjyy", "cloud_type" : "HEC" }, "enable_failed_object_recording" : true, "enable_restore" : false, "enable_metadata_migration" : false, "enable_kms" : false, "task_type" : "URL_LIST" }

对象存储迁移服务 OMS 迁移任务组管理

对象存储迁移服务 OMS-查询指定ID的任务详情:响应示例

响应示例状态码： 200 OK { "bandwidth_policy" : [ { "end" : "23:59", "max_bandwidth" : 0, "start" : "00:00" } ], "complete_size" : 0, "description" : "test log", "dst_node" : { "bucket" : "dst_bucket", "region" : "cn-north-1" }, "enable_failed_object_recording" : true, "enable_kms" : true, "enable_restore" : false, "error_reason" : { "error_code" : "string", "error_msg" : "string" }, "failed_num" : 0, "failed_object_record" : { "result" : true, "list_file_key" : "string", "error_code" : "string" }, "group_id" : "string", "id" : 0, "is_query_over" : true, "left_time" : 0, "migrate_since" : 0, "migrate_speed" : 0, "name" : "string", "progress" : 0, "real_size" : 0, "skipped_num" : 0, "src_node" : { "bucket" : "src_bucket", "cloud_type" : "AWS", "region" : "cn-north-1", "app_id" : "string", "object_key" : [ "string", "string" ], "list_file" : { "list_file_key" : "object_list_file.txt", "obs_bucket" : "obs_bucket" } }, "start_time" : 0, "status" : 0, "successful_num" : 0, "task_type" : "list", "total_num" : 0, "total_size" : 0, "total_time" : 0, "smn_info" : { "notify_result" : true, "notify_error_message" : "string", "topic_name" : "string" }, "source_cdn" : { "domain" : "xxx.xxx.xxx", "protocol" : "http", "authentication_type" : "string" } }

对象存储迁移服务 OMS 迁移任务管理

对象存储迁移服务 OMS-对已经失败的指定id迁移任务组进行重启:请求参数

请求参数表2 请求Header参数参数是否必选参数类型描述 X-Auth-Token 是 String IAM 鉴权Token 最小长度：1 最大长度：16384 表3 请求Body参数参数是否必选参数类型描述 src_ak 否 String 源端ak（最大长度100个字符）最小长度：0 最大长度：100 src_sk 否 String 源端sk（最大长度100个字符）最小长度：0 最大长度：100 dst_ak 否 String 目的端ak（最大长度100个字符）最小长度：0 最大长度：100 dst_sk 否 String 目的端sk（最大长度100个字符）最小长度：0 最大长度：100 source_cdn_authentication_key 否 String cdn鉴权秘钥最小长度：1 最大长度：200 migrate_failed_object 否 Boolean 失败任务重试方式，标识是否为全量重新迁移，默认false（全量重新迁移）。值为true时表示只重传失败对象。值为空或者为false时表示全量重新迁移（默认跳过目的端已迁移对象）。缺省值：false

对象存储迁移服务 OMS 迁移任务组管理

对象存储迁移服务 OMS-对已经失败的指定id迁移任务组进行重启:请求示例

请求示例重试失败任务组请求示例 PUT https://{endpoint}/v2/{project_id}/taskgroups/2c11d99a-9596-4bc6-a6ad-2336455b149c/retry{ "src_ak" : "src_AK", "src_sk" : "src_SK", "dst_ak" : "dst_AK", "dst_sk" : "dst_SK", "migrate_failed_object" : false}

对象存储迁移服务 OMS 迁移任务组管理

对象存储迁移服务 OMS-更新任务带宽策略:请求示例

请求示例将task_id为xxxxxxxx的任务的限速时段设置为00:01-23:59，限速值设置为50000000Byte/s /v2/{project_id}/tasks/xxxxxxxx/bandwidth-policy{ "bandwidth_policy" : [ { "start" : "00:01", "end" : "23:59", "max_bandwidth" : 50000000 } ]}

对象存储迁移服务 OMS 迁移任务管理

云服务器内容精选

迁移任务

7*24

备案

专业服务

退订

建议反馈

售前咨询热线