检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cp命令如何开启增量上传、下载和复制? 在执行obsutil cp命令进行上传/下载时,可以通过增加“-u”参数开启增量功能。 该参数的含义为:上传/下载/复制每个对象时都会对比源路径和目标路径,仅在目标对象不存在,或者对象大小不一致,或者目标对象的最后修改时间早于源对象的最后修改时间时进行上传/下载/复制。
n、ContentLanguage等。 对存储在OBS中的图片进行处理,详情请参考《对象存储服务图片处理特性指南》。 对于修改中的追加写对象的场景,OBS提供了追加写功能,详情请参考API文档:追加写对象。 父主题: 桶和对象相关
如何修改桶所属的企业项目? 当OBS桶需要按照企业业务进行分组管理或者已有分组发生变化时,可以通过对OBS桶资源执行迁出操作,实现桶所属企业项目的修改。 您只需要在桶当前所属的企业项目中找到对应的桶,并迁出至其他企业项目即可。详细操作步骤,请参见迁出企业项目资源。 父主题: 桶和对象相关
间进行数据迁移? OBS会不会扫描我的数据用于其他用途? 后台工程师能否导出我存储在OBS中的数据? OBS如何保证我的数据不会被盗用? OBS的持久性和可用性如何? OBS单AZ和多AZ有什么区别? OBS的数据冗余存储方式是什么?
OBS的数据冗余存储方式是什么? OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内
断点续传上传接口是利用分段上传特性实现的,是对分段上传的封装和加强。 断点续传上传接口不仅能在失败重传时节省资源提高效率,还因其对分段进行并发上传的机制能加快上传速度,帮助用户快速完成上传业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发上传的实现等内部细节。
如何上传超过5GB的大对象? 背景信息 通过OBS管理控制台上传的文件有大小和数量限制,每次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 上传超过5GB的大对象 5GB < 上传对象 <= 48.8TB 如果需要上传超过5GB的大对象,可以使用OBS
上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.CreateBucket创建桶。 带参数创建 创建桶时可以指定桶的访问权限、存储类型和区域位置。OBS支持的桶的存储类型有三类,参见桶存储类型。示例代码如下:
行调优。 如网络状况不佳,建议增大connectionTimeout和socketTimeout的值。 如果设置的endPoint不带协议类型,则默认使用HTTPS协议。 出于DNS解析性能和OBS服务可靠性的考虑,不允许将endPoint设置为IP,必须使用域名访问OBS服务。
数据保护技术 OBS通过多种数据保护手段和特性,保障存储在OBS中的数据安全可靠。 表1 OBS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) OBS支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 构造请求 数据冗余存储
如果您需要对您所拥有的对象存储服务(OBS)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果当前的华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用OBS的其它功能。 默认情况下,新建的IAM用户没有
或复制对象的业务代码。步骤如下: 调用listObjects列举所有待上传、下载或复制的对象,具体代码示例请参见列举对象。 对列举出的对象调用单个对象的上传(上传对象)、下载(下载对象)或复制(复制对象)接口。 以批量上传对象为例,示例代码如下: // 认证用的ak和sk硬编码到
拼接成的链接分享给用户,用户可以在浏览器中通过此链接直接预览文件。 如仍不能在线预览,请检查对象元数据ContentType值是否是浏览器支持的在线展示类型。 例如对象是一个mp4格式的视频文件,则设置ContentType为“video/mp4”;对象是一个jpg格式的图片文件
为什么OBS Browser+上显示的桶中对象数量和桶内存储用量与实际的不一致? 可能原因如下: 数值统计不是实时统计,有一定的延迟。 数值统计为估算数值,可能与实际数值存在误差。 因此,OBS提供的桶内对象数量和桶存储用量的统计,建议您只作为参考。 父主题: 常见问题
Sharing,CORS)是由W3C标准化组织提出的一种网络浏览器的规范机制,定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中,由于同源安全策略(Same Origin Policy,SOP)的存在,不同域之间的网站脚本和内容是无法进行交互的。OBS支持CORS规范,允许跨域请求访问OBS中的资源。
获取用户组名称和ID 登录华为云,进入IAM控制台,选择“用户组”页签。 单击需要查询的用户组前的下拉框,即可查询用户组名称、用户组ID。 图3 查询用户组名称、用户组ID 获取区域ID 登录华为云,进入IAM控制台,选择“项目”页签。 “项目”列的内容即为所属区域对应的ID。 图4
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
and signing method.”类似错误 问题定位: 鉴权失败,访问密钥(AK和SK)配置不正确。 解决办法: 检查密钥文件中的AK和SK信息是否配置正确。检查方法可参照初始化obsfs章节中的步骤3。 现象四:挂载并行文件系统时出现“specified passwd_file
OBS如何保证我的数据不会被盗用? 只有桶或对象的拥有者才能访问,访问时需要提供访问密钥(AK/SK),并且还有ACL、桶策略、防盗链等多种访问控制机制保证数据的访问安全。 父主题: 数据安全、迁移和备份
在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当下载大对象到本地时,经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源,而且当网络不稳定时仍然有下载失败的风险。断点续传下载接口能有效地解决此类问题引起的下载失败