检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,
以华为云CDN服务为例,相关配置如下所示: 登录华为云CDN服务,从CDN服务左侧列表中选择域名管理项,在该项中可以查看到所有配置的CDN服务域名信息。 配置源站。单击要使用的自定义域名项,进入域名配置界面,编辑源站配置,选择主源站类型为源站域名类型,对应源站为要访问的OBS桶域名。
使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。具体步骤为: 调用OBS服务端初始化上传段任务接口,生成分段上传ID(Upload ID)。
READ_ACP 读取ACL配置的权限。 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 PERMISSION_WRITE_ACP WRITE_ACP 修改ACL配置的权限。 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。
READ_ACP 读取ACL配置的权限。 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 PERMISSION_WRITE_ACP WRITE_ACP 修改ACL配置的权限。 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。
Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS。 作为对象存储服务的子产品,并行文件系统支持用户按照标准的OBS接口读取数据。也支持通过部署在弹性云服务器中的OBSA,执行大数据场景业务。 应用场景
定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中,由于同源安全策略(Same Origin Policy,SOP)的存在,不同域之间的网站脚本和内容是无法进行交互的。 日志记录 支持对桶的访问请求创建并保存访问日志记录,可用于进行请求分析或日志审计。
System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载,主要应用于大数据场景。 并行文件系统的详细介绍和使用说明,请参见并行文件系统。 父主题: 基本概念
采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题,可参考以下方法排查处理: 检查网络。 ping同区域的OBS终端节点(Endpoint),例如ping obs.cn-north-1
00~19:00)的实际用量,根据实际用量产生话单并结算扣费。例如,在19:30结算的费用一般为18:00~19:00期间产生的费用,也可能存在延迟,即19:30结算的费用也可能为17:00~18:00期间产生的费用。 费用结算的最小时长为1小时,与具体的上传时刻无关。例如在结
域名管理 桶的域名管理概述 通过自定义域名访问桶 通过CDN加速域名访问桶 为桶的CDN加速域名配置自动刷新策略
监控安全风险 OBS提供基于云监控服务CES的资源和操作监控能力,帮助用户监控账号下的OBS桶,执行自动实时监控、告警和通知操作。用户可以实时掌握桶中所产生的各类请求、流量、带宽、错误响应和存储用量等信息。 关于OBS支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。
自定义分发器。 ObsConfiguration.setHttpDispatcher N/A 建议值为N/A的表示需要根据实际情况进行设置。 如需提高大文件上传下载性能,在网络带宽满足的情况下,可对socketWriteBufferSize,sockeReadBufferSize,rea
Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交工单联系技术支持人员申请调大OBS服务的读写带宽。 父主题: 实施步骤
> 响应消息头 该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 该请求的响应中以消息元素的形式返回桶的多版本状态,元素的具体意义如表1所示。 表1 响应消息元素 名字 描述 VersioningConfiguration 多版本状态信息的元素。 类型:Container
使用第三方云厂商的CDN获取华为云OBS的文件产生的回源流量无法使用回源流量包进行抵扣。 跨区域复制流量包 用于抵扣通过跨区域复制功能将源桶数据复制到另一个区域的目标桶时所产生的流出流量费用。 只适用于OBS 3.0的桶,且只能用于资源包所属区域(复制起点区域)。例如:您从区域A将源桶数
如何查看桶内的文件夹大小? 可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。
跨区域复制流量包用于抵扣通过跨区域复制功能将源桶数据复制到另一个区域的目标桶时所产生的流出流量费用; 回源流量包用于抵扣使用OBS作为华为云CDN加速域名源站时,CDN向源站OBS获取文件产生的回源流量费用。 如果您的OBS存在公网流出流量、跨区域复制流量或回源流量,请确保已购买对应的流量包。 如果上述要求有一项不满
本章节提供了OBS使用过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。 企业数据权限控制最佳实践 本最佳实践提供了企业开通OBS后可以设置的四种常见权限控制。 为不同职能部门的员工设置不同的访问权限,以此达到不同部门人员访问公司数据的权限隔离。 设置权限允许其他部门/项目用户下载共享数据,禁止写删。
跨域资源共享(CORS)是由W3C标准化组织提出的一种网络浏览器的规范机制,定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中,由于同源安全策略(Same Origin Policy,SOP)的存在,不同域之间的网站脚本和内容是无法进行交互的。OBS支持CORS规范,允许跨域请求访问OBS中的资源。