检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务。 逐个或并行上传段。
MD5检验 背景知识 文件在上传和下载的过程中,受网络影响可能出现损坏。通过MD5校验,可以验证上传或下载文档的正确性。 OBS Browser开启MD5校验会影响上传下载速度。本章节以上传文件为例介绍MD5校验功能。 桶中文件具有MD5信息,下载文件时才会做MD5校验。 操作步骤
分段上传 用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务(initiateMultipartUpload)。
认。 网络连接错误 Error: Network Error 此类错误一般有三种原因: 初始化ObsClient时传入的Endpoint有误,解决方法:检查Endpoint,确保正确; 客户端到OBS服务端的网络异常,导致无法访问,解决方法:检查客户端到OBS服务端的网络健康状况;
status [403]”,表明访问密钥配置有误。 如果返回结果中包含“A connection attempt failed”,表明无法连接OBS服务,请检查网络环境是否正常。 如果返回结果中包含“Error: cloud_url [url] is not in well format”,
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
Obs.0001 所有对这个对象的访问已经无效了。 Obs.0002 文件的绝对路径总长度不能超过1023字符,请重试。 Obs.0003 连接超时。 Obs.0004 客户端与服务器的时间相差大于15分钟。 出于安全目的,OBS会校验客户端与OBS服务器的时间差,当该时间差大于1
OBS数据一致性校验 应用场景 对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。 方案架构 OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。默认情况下,OBS不会进行一致性校验,您可以通过以下方式在上传下载时主动启用校验。 各
如何获取临时访问密钥和securitytoken请参见临时访问密钥AK/SK获取。 默认取值: 无,表示匿名用户 Server string 必选 参数解释: 连接OBS的服务地址。包含协议类型、域名(或IP)、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议)。
无效的IP地址或域名地址,请重新输入。 Obs.0026 文件的绝对路径总长度不能超过1023字符,请重试。 Obs.0027 连接代理服务器失败,请检查网络或者代理服务器身份认证信息。 Obs.0028 目标桶不存在或目标桶与当前桶不属于同一区域,请确认后重新操作。 Obs.0029
dleConnTimeout int) 配置空闲的HTTP连接在连接池中的超时时间(单位:秒)。默认为30秒。 默认 WithMaxRetryCount(maxRetryCount int) 配置HTTP/HTTPS连接异常时的请求重试次数。默认为3次。 [1,5] WithProxyUrl(proxyUrl
购买VPCEP终端节点的影响: 在购买VPCEP终端节点后,由于流量路径的切换会导致后端处理请求的节点发生切换,正在建立连接和已经建立连接的TCP连接会被中断,需要应用重新建立TCP连接重试请求即可成功。 父主题: 产品咨询
/opt/cloudera/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678/jars/ 执行如下命令,建立各目录的软连接,将hadoop-huaweicloud的jar包放入如下目录。 ln -s /opt/cloudera/parcels/CDH-6.0.1-1
如果空闲时间超过此参数的设定值,则关闭连接。 默认取值: 30000,单位:毫秒。 ObsConfiguration.setIdleConnectionTime 根据实际情况设置 maxIdleConnections 参数解释: 连接池中最大空闲连接数。 默认取值: 1000,单位:个。
设置最大上传和下载任务个数,请输入2到20的整数。 语言 根据需求设置语言类型。语言切换后,重启软件生效。 单击“网络配置”,根据需求设置代理服务器信息,如图2所示。 图2 网络配置 表2 网络配置参数说明 参数 说明 启用代理 勾选后,会展示“使用身份验证”的可选项。设置以下参数就可以通过代理服务器访问OBS。
片处理参数对图片进行处理,例如剪切、压缩,并且可以获取到使用图片样式或经过参数处理的新图片URL。处理后的图片可以根据用户需求放入内容分发网络(Content Delivery Network,CDN)加速,后续请求可以直接从CDN下载。图片处理特性架构如图1所示。 图1 图片处理架构
载/复制的性能出现下降;同时也更容易受整体网络情况波动的影响,导致部分任务失败; 由于运行机资源限制,如果并发数配置过大,可能会因此线程间资源切换及抢夺等原因,导致obsutil上传/下载/复制的性能下降,所以请根据实际的文件大小和网络情况调整defaultParallels (
如果处理完某个可能原因仍未解决问题,请继续排查其他可能原因。 表1 排查思路 可能原因 处理措施 本地网络故障 检查本地与OBS之间的网络是否正常,如果存在网络故障,解决网络故障,确保网络正常。 无删除对象的权限 请参考检查是否有删除对象的权限。 对象所属桶已启用多版本控制 请参考在“已删除对象”列表彻底删除对象。
只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。 在ECS/BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。 使用场景 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。
8TB。 OBS Browser+最多同时一次上传500个文件,obsutil没有上传文件数量限制。 检查本地与OBS的网络是否正常,如果存在网络故障,解决网络故障,确保网络正常。 上传对象时弹出“Service Unavailable”的错误提示,则可能是因为当前服务器繁忙,请稍后重试。