检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传段 功能介绍 多段上传任务创建后,用户可以通过指定多段上传任务号,通过上传段接口为特定的任务上传段,从客户端上传新数据,了解完整的分段上传流程请参见分段上传。同一个对象的同一个多段上传任务在上传段时,上传的顺序对后续的合并操作没有影响,也即支持多个段并发上传。 段大小范围是[
traceback # 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险 # 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003
由于FTP协议为明文传输,为了数据的安全性建议将obsftp工具和FTP Client运行在同一台主机上,通过127.0.0.1:port地址来访问规避FTP协议的不安全性。 工具包需要解压在以ASCII码支持的字符(即英文与数字、_等)组成的目录下。 obsftp对运行环境中的Python版本要求为2
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS客户端(ObsClient)是访问OBS服务的C客户端,它为调用者提供一系列与OBS服务进行交互的接口,用于管理、操作桶(Bucket)和对象(Object)等OBS服务上的资源。使用OBS
File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载,主要应用于大数据场景。 并行文件系统的详细介绍和使用说明,请参见并行文件系统。
// 创建ObsClient实例 var obsClient = new ObsClient({ // 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support
config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考 配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。 列举桶的结果中
上提交issue,或者在华为云对象存储服务论坛中发帖求助。 请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)等。 您可以先参考OBS客户端通用示例,了解OBS Node.js SDK接口调用的通用方式。 OBS客户端支持回调函数
深度归档存储单价(每月) 图片处理 0-10TB(含):免费 10TB以上:参见产品价格详情(单击链接跳转后选择价格详情页签)。 0-10TB(含):免费 10TB以上:参见产品价格详情(单击链接跳转后选择价格详情页签)。 不涉及 不涉及 父主题: 图片处理
运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。 父主题: 对象相关命令
跨域资源共享 跨域资源共享简介 配置跨域资源共享
or上传对象时,用户需要提供一个RSA 公钥,SDK会针对每个对象随机生成一个数据密钥和初始值,并使用数据密钥与初始值加密对象,加密完成后将加密后文件上传至OBS,随后会使用RSA密钥加密数据密钥,并将加密后的数据密钥与初始值存储至对象元数据中。下载该对象时,用户需要提供对应的R
上传对象时,用户需要提供一个 RSA 公钥或私钥,SDK 会针对每个对象随机生成一个数据密钥和初始值,并使用数据密钥与初始值加密对象,加密完成后将加密后文件上传至 OBS,随后会使用 RSA 密钥加密数据密钥,并将加密后的数据密钥与初始值存储至对象元数据中。下载该对象时,用户需要提供同一个
引入obs库 // 使用npm安装 const ObsClient = require("esdk-obs-nodejs"); // 使用源码安装 // var ObsClient = require('./lib/obs'); // 创建ObsClient实例 const obsClient
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
桶中文件具有MD5信息,下载文件时才会做MD5校验。 操作步骤 登录OBS Browser。 单击页面右上角的图标并选择“系统配置”。 在“系统配置>基本配置”窗口,勾选“启用MD5校验”,如图1所示。 图1 配置MD5校验 单击“保存”。 选择待上传文件的桶,上传文件。 在页面
传; 支持带容量单位配置,例如,配置1MB代表1048576字节。 ps 附加参数,可选 每个分段下载任务的段大小,单位:字节,默认为配置文件中的defaultPartSize。 说明: 支持带容量单位配置,例如,配置1MB代表1048576字节; 支持配置为auto,此时obs
训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
辅助命令 更新配置文件 删除断点记录文件 查看命令帮助 查看版本号 归档日志文件 检查并更新版本 列举失败结果清单文件
乘积不能超过24999999。 仅指定高或宽进行缩略时,缩略后宽高比例为原图宽高比例,且按照原图格式返回。 resize操作默认限制原图的放大。如果请求的目标缩略图比原图大时,需要调用参数limit,0才可以取到放大后的图片,否则将返回原图。调用格式如下: https://e-share