检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何迁移数据至OBS? 数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践:
configurers configurer(obs包中的私有类型) 可选 一组用于配置ObsClient的参数,可进行连接超时时间、最大重试次数、最大连接数等配置。 可用的configurer 您可通过configurer(obs命名空间中的私有类型)对ObsClient进行配置,可用的configurer见下表:
断点续传上传(Node.js SDK) 基于表单上传(Node.js SDK) SDK支持上传0KB~5GB的对象。文本上传、流式上传、文件上传和追加上传每次上传内容大小不能超过5GB;当上传较大文件时,请使用分段上传,分段上传每段内容大小不能超过5GB;基于表单上传提供了基于浏览器表单上传对象的方式。
上传失败的问题。 基于表单上传:使用HTML表单形式上传对象到指定桶中。 SDK支持上传0KB~5GB的对象。流式上传、文件上传和追加上传每次上传内容大小不能超过5GB;当上传较大文件时,请使用分段上传,分段上传每段内容大小不能超过5GB;基于表单上传提供了基于浏览器表单上传对象的方式。
Failed to connect to xxx”,表明连接超时,其原因一般是服务地址(Endpoint)错误或网络不通导致无法连接OBS服务,此时请检查服务地址和网络状况。 父主题: 异常处理
Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交工单联系技术支持人员申请调大OBS服务的读写带宽。 父主题: 实施步骤
com,检查网络时延、丢包率等。 OBS各区域终端节点列表 检查是否通过内网访问OBS。 检查方法参考如何判断是否内网访问OBS?。 对于大量小文件的上传、下载,主要受TPS(单位时间内处理文件个数)影响,而非带宽。 批量上传可以增加“-j”和“-p”等参数,并将参数值调高,观察传输速度是否提高。参考性能调优最佳实践
断点续传 使用场景 当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,不仅能在失败重传时节省资
SDK的jar包,则说明Java SDK安装成功。如果未下载jar包,请检查是否正确配置了pom.xml文件,版本号是否正确替换。如仍未解决,请提交工单寻求技术支持。 方式二:使用Gradle中央仓库和Gradle工程下载安装OBS Java SDK 使用本方式安装SDK前,请确保Java环境和Gradle环境正确配置并能正常使用。
CDH是Cloudera基于Apache Hadoop生态系统构建的大数据分析管理平台发行版。 Cloudera CDH与OBS对接的具体操作,请参见Cloudera CDH对接OBS。 Hortonworks HDP HDP是Hortonworks基于Apache Hadoop
StorageClassEnum.Cold, // 设置桶访问权限为公共读,默认是私有读写 CannedAcl = CannedAclEnum.Private }; CreateBucketResponse response = client
被授权用户权限信息,详见Grant。 表3 AclType 常量名 原始值 说明 PRIVATE private 私有读写。 桶或对象的所有者拥有完全控制的权限,其他任何人都没有访问权限。 PUBLIC_READ public-read 公共读私有写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。
默认取值: 无 表3 AclType 常量名 原始值 说明 PRIVATE private 私有读写。 桶或对象的所有者拥有完全控制的权限,其他任何人都没有访问权限。 PUBLIC_READ public-read 公共读私有写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。
ETIMEDOUT”错误,表明连接超时,其原因一般是服务地址(Endpoint)错误或网络不通导致无法连接OBS服务。 解决方案: 请检查服务地址是否为空,或者是非法的服务器地址。 请检查网络状况。 检查服务端是否返回了异常的结果,并联系服务端运维团队。 父主题: 异常处理(Node
载/复制的性能出现下降;同时也更容易受整体网络情况波动的影响,导致部分任务失败; 由于运行机资源限制,如果并发数配置过大,可能会因此线程间资源切换及抢夺等原因,导致obsutil上传/下载/复制的性能下降,所以请根据实际的文件大小和网络情况调整defaultParallels (
原始值 说明 HeadPermission.PRIVATE private 私有读写。 桶或对象的所有者拥有完全控制的权限,其他任何人都没有访问权限。 HeadPermission.PUBLIC_READ public-read 公共读私有写。 设在桶上,所有人可以获取该桶内对象列
对象”页面。 单击待操作的对象。 在“对象ACL”中,支持切换公共权限(私有/公共读),快速配置匿名用户的对象ACL访问权限。 公共读权限切换私有权限,切换后除桶或对象的所有者外,其余用户无访问权限。 私有权限切换公共读权限,任何用户在不经过身份认证的情况下可直接读对象的内容、对象的元数据,请谨慎操作。
token必须同时使用,请求头中需要添加“x-obs-security-token”字段。 临时访问密钥相比IAM用户的永久访问密钥的优势主要有两点: 临时访问密钥的有效时间为15min至24h,不必暴露出IAM用户的永久密钥,降低了账号泄露带来的安全风险。 在获取临时访问密钥时
通过IAM委托换取临时访问密钥访问OBS IAM委托为统一身份认证服务IAM的功能特性,OBS在部分使用场景中(如CDN私有桶回源、跨区域复制),需要使用IAM委托功能,授予其他账号或云服务OBS的访问权限,替委托方管理OBS资源,实现安全高效的代维工作。 如在创建跨区域复制规则
求。 删除对象 桶没有开启多版本控制功能时,对象删除后不可恢复,请谨慎操作。 并行文件系统 详见《并行文件系统特性指南》 访问规则 OBS基于DNS解析性能和可靠性的考虑,要求凡是携带桶名的请求,在构造URL的时候都必须将桶名放在domain前面,形成三级域名形式,又称为虚拟主机访问域名。