检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行
nified Resource Locator)来获取资源。URL的一般格式为:https://Endpoint/uri。用户只需在浏览器地址栏中输入符合图片处理命令规则的URL,即可获取到处理后的图片。 本章简要展示使用RESTful API接口方式访问和使用图片处理的流程,具体如图1所示。
其他事情都要依靠上层的应用程序实现。 NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问。文件系统要维护一个目录树。 对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁
具体请参见图片处理如何收费? 计费说明 OBS服务默认为按需计费模式,即按实际使用的时长收费,以小时为单位,每小时整点结算,不设最低消费标准。 计费周期 系统每小时会统计前一个小时(整点区间,如18:00~19:00)的实际用量,根据实际用量产生话单并结算扣费。例如,在19:30结算的费用一般为
客户端加密简介(Python SDK) 客户端加密是指在传输数据前,使用您选择的加密方法与加密信息,在本地进行数据加密,再将加密后结果发送至 OBS 服务器,同时将加密方法与解密所需的必要辅助信息存储到对象元数据中。在下载时 OBS SDK 会依据您提供的密钥与存储在对象元数据中的解密辅助信息进行数据解密,直接返回解密后结果。
客户端加密简介(Java SDK) 客户端加密是指在传输数据前,使用您选择的加密方法与加密信息,在本地进行数据加密,再将加密后结果发送至OBS服务器,同时将加密方法与解密所需的必要辅助信息存储到对象元数据中。在下载时OBS SDK会依据您提供的密钥与存储在对象元数据中的解密辅助信息进行数据解密,直接返回解密后结果。
桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存储在OBS中,您可以使用本
命令结构 Windows操作系统 obsutil bucketpolicy obs://bucket -method=delete [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil bucketpolicy
命令结构 Windows操作系统 obsutil ls -failed [-limit=1000] [-o=xxx] macOS/Linux操作系统 ./obsutil ls -failed [-limit=1000] [-o=xxx] 运行示例 以Windows操作系统为例。运行示例如下:
在弹出的“基本信息”界面中查看桶的基本信息,如图1所示。 图1 桶的基本信息 表1 参数说明 参数 说明 桶名称 桶的名称 桶类型 对象存储 还是 并行文件系统。 区域 桶所在的区域。 存储类别 桶的存储类别,有标准存储、低频访问存储、归档存储三种类别。 桶版本号 桶的版本号。 存储用量 桶中存储的对象占用的存储空间。
Windows操作系统 obsutil bucketpolicy obs://bucket -method=put -localfile=xxx [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil
Windows操作系统 obsutil bucketpolicy obs://bucket -method=get [-localfile=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil
Windows操作系统 obsutil chattri obs://bucket [-sc=xxx] [-acl=xxx] [-aclXml=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil
服务论坛中发帖求助。 您可以通过调用truncate_object来对对象进行截断操作,truncate_object接口只适用于并行文件系统的桶,对象桶该接口不支持。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文,配置option 必选 桶参数。 key char
为云对象存储服务论坛中发帖求助。 您可以通过rename_object来修改对象名和目录名,rename_object接口只适用于并行文件系统,对象桶该接口不支持。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文,配置option 必选 桶参数。 key char
workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID"), secret_access_key=os.getenv("SecretAccessKey"), server='https://your-endpoint'
该类型记录集仅支持设置为“否”。 否 线路类型 解析的线路类型用于DNS服务器在解析域名时,根据访问者的来源,返回对应的服务器IP地址。 默认值为“全网默认”。 仅支持为公网域名的记录集配置此参数。 全网默认:默认线路类型,当未根据访问者来源设置解析线路时,系统会返回默认解析结果。 运营商线路解析:根据访问
FS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。并行文件
监控安全风险 OBS提供基于云监控服务CES的资源和操作监控能力,帮助用户监控账号下的OBS桶,执行自动实时监控、告警和通知操作。用户可以实时掌握桶中所产生的各类请求、流量、带宽、错误响应和存储用量等信息。 关于OBS支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。
注意:通过-i、-k、-e配置用户认证信息后,linux等操作系统的history命令可查询配置参数值,请谨慎使用该操作。 运行示例 以Windows操作系统为例,运行obsutil config -interactive,更新默认配置文件的访问密钥和OBS服务地址。 obsutil config -interactive