检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行
变化,新链接的有效期从修改时开始计算。 图1 分享文件 URL相关操作。 单击“打开URL”,将在新页面打开文件进行预览或者直接下载文件到本地。 单击“复制链接”,您可以将该链接分享给所有用户,用户可以在浏览器中通过此链接直接访问文件。 单击“复制路径”,您可将该路径分享给所有拥
OBS接收到客户端的上传请求,执行上传对象操作。对象上传成功后,OBS封装回调请求。 OBS调用回调接口,向回调服务器发起回调请求。 回调服务器得到上传对象完成的通知,完成数据更新,处理回调请求。 回调服务器将回调响应数据返回给OBS。 OBS将上传对象请求的响应结果返回给客户端,响应结果中携带回调数据。
Browser+最多同时一次上传500个文件,obsutil没有上传文件数量限制。 检查本地与OBS的网络是否正常,如果存在网络故障,解决网络故障,确保网络正常。 上传对象时弹出“Service Unavailable”的错误提示,则可能是因为当前服务器繁忙,请稍后重试。 请检查账号是否已通过实名认证。如果没有,请先实名认证。
ObsClient({ // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsutil上传下载速度慢 obsutil cp命令如何开启增量上传、下载和复制? 并行文件系统是否支持挂载到Windows服务器?
GET 请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT 请求服务器更新指定资源,如创建桶、上传对象等。 POST 请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器返回指定资源的概要,如获取对象元数据等。
必选 授权码。 说明: 如果以“file://”开头,则表明授权码是从本地文件中获取。 file_or_folder_url 下载对象时必选 本地文件/文件夹路径。 folder_url 批量下载时必选 本地文件夹路径。 key 附加参数,下载对象时必选 批量下载时可选 待下载的对象名,或批量下载的对象名前缀。
security_provider_policy='ECS' ) # 使用访问OBS # 关闭obsClient obsClient.close() 当应用程序部署在ECS服务器上时,可以采用以上方式从ECS服务器上自动获取临时访问密钥和定期自动刷新。 如果客户端报401错误,则需要排查在创建ECS时是否有添加委托。
在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。 云服务之间的关系 如果多个云服务一起搭配使用,需要注意: 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
以下代码展示了如何使用断点续传下载接口下载对象到本地文件: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCESS_KEY
GET:请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT:请求服务器更新指定资源,如创建桶、上传对象等。 POST:请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器返回指定资源的概要,如获取对象元数据等。
以下代码展示了如何使用断点续传下载接口下载对象到本地文件: // 初始化配置参数 ObsConfig config = new ObsConfig(); config.Endpoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的
S proxyHost 代理服务器的主机地址。 proxyConfig.proxyHost = @"host" proxyPort 代理服务器的端口号。 proxyConfig.proxyPort = @"port" username 连接代理服务器时使用的用户名。 proxyConfig
GetResult 参数名称 参数类型 描述 status int 参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值: 无 reason str 参数解释:
SDK) 上传对象到指定桶中。在OBS中,用户操作的基本数据单元是对象。OBS Python SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 文本上传:使用字符串作为对象的数据源。 流式上传:使用包含“read”属性的可读对象作为对象的数据源。 文件上传:使用本地文件作为对象的数据源。
file_or_folder_url 下载对象时必选 本地文件/文件夹路径。 folder_url 批量下载时必选 本地文件夹路径。 bucket 必选 桶名。 key 下载对象时必选 批量下载时可选 待下载的对象名,或批量下载的对象名前缀。 下载对象时,该值不能为空,最终保存在本地的位置及命名规则如下: 如
如果处理完某个可能原因仍未解决问题,请继续排查其他可能原因。 图1 删除桶失败排查思路 表1 排查思路 可能原因 处理措施 本地网络故障 检查本地与OBS之间的网络是否正常,如果存在网络故障,解决网络故障,确保网络正常。 桶内对象未全部删除 请参考删除桶内对象。 桶内已删除对象未彻底删除
e,或者在华为云对象存储服务论坛中发帖求助。 功能说明 断点续传下载接口是利用范围下载特性实现的,是对范围下载的封装和加强,当下载大对象到本地文件时,经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源,而且当网络不稳定时仍然有下载失败的风险。断点续传
GetResult 参数名称 参数类型 描述 status int 参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值: 无 reason str 参数解释: