检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单流带宽、安全可靠的解决方案。 在HPC场景下,企业用户的数据可以通过直接上传或数据快递的方式上传到OBS。同时OBS提供的文件语义和HDFS语义支持将OBS直接挂载到HPC flavors的节点以及大数据&AI分析的应用下,为高性能计算各个环节提供便捷高效的数据读写和存储能力。
建议使用最新版本的SDK。例如,此处选择Bundle 3.23.9版本。 Bundle版本与普通版本源代码相同,区别在于 Bundle 版将所有三方依赖打包并重定向至包内,不再依赖外部三方包,可避免因依赖冲突导致的问题,相应的 Bundle 版 SDK 占用的空间也更大(7M+)。
断点续传下载接口是利用分段上传特性实现的,是对范围下载的封装和加强。 断点续传下载接口不仅能在失败重下时节省资源提高效率,还因其对分段进行并发下载的机制能加快下载速度,帮助用户快速完成下载业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发下载的实现等内部细节。
可靠性,一旦出现故障或灾难,很容易导致数据出现不可逆的丢失,给企业造成严重损失。 成本 即开即用,免去了自建存储服务器前期的资金、时间以及人力成本的投入,后期设备的维护交由OBS处理。 按使用量付费,用多少算多少。阶梯价格,用的越多越实惠。 前期安装难、设备成本高、初始投资大、自
存储在OBS上的数据高度稳定和安全。在成本方面,OBS即开即用,免去了自建存储服务器带来的资金、时间及人力成本的投入,后期的设备维护也全部交由OBS处理。 华为云提供搬迁方案,帮助用户将自建存储服务器上的数据短时间、低成本、安全、高效地搬迁至OBS。用户可根据数据量、耗时、费用等需求选择适合的方案进行数据搬迁。
EntityTooLarge 用户POST上传的对象大小超过了条件允许的最大大小。 修改POST上传的policy中的条件或者减少对象大小。 400 Bad Request EntityTooSmall 用户POST上传的对象大小小于条件允许的最小大小。 修改POST上传的policy中的条件或者增加对象大小。
为什么OBS存储的数据丢失了? OBS是否支持流量监控? OBS上传下载速率的影响因素有哪些? 对象存储与SAN存储和NAS存储相比较有什么优势? OBS的文件夹与文件系统的文件夹是否一样? OBS、EVS和SFS有什么区别? 如何判断是否内网访问OBS? 我的OBS桶性能是否会受其他用户业务的影响?
训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间
of xxxx must be compatible with xxxx?。 2019-11-20 第六次正式发布。 调整以下章节的位置: 示例程序 技术支持渠道 2019-03-30 第五次正式发布。 新增章节: API参考。 2019-01-17 第四次正式发布。 修改章节: SDK下载,新增SDK源码地址。
如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 OBSACLRead_ACP 写ACP权限 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。桶或对象的所有者永远拥有写对应桶或对象的ACP的
您也可以通过包年包月(资源包)的方式,提前购买使用额度和时长,获取更多的优惠。超出资源包的部分自动转按需计费。如何购买资源包? 对象存储服务暂不支持退订资源包,建议您在购买资源包前提前规划资源的使用额度和时长。 对象存储服务资源包仅支持抵扣资源包购买后产生的费用,不支持抵扣资源包购买前产生的费用。例如
对所有账号授予桶的公共读权限 场景介绍 当某个桶需要授权所有账号访问权限时,可以通过桶策略和桶ACL配置授予所有账号访问桶的权限。本示例以桶策略为例。 配置须知 本案例预置的“公共读”模板允许所有账号(所有互联网用户)对整个桶及桶内所有对象执行以下权限: HeadBucket:判断桶是否存在、获取桶元数据
上传段(Java SDK) 合并段(Java SDK) 分段上传场景化示例(Java SDK) 取消分段上传任务(Java SDK) 列举已上传的段(Java SDK) 列举分段上传任务(Java SDK) 父主题: 上传对象(Java SDK)
公网流出流量包和回源流量包抵扣的是公网下载OBS数据和回源的流量费用。 跨区域复制流量包抵扣的是通过跨区域复制功能将源桶数据复制到另一个区域的目标桶时所产生的流出流量费用。 除了标准存储包会赠送一定的请求次数以外,其他计费项都不支持资源包扣费,包括低频访问存储对象的存储费用、数据恢复费用、数据处理费用。
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
服务端加密 如何访问或下载已加密的对象? 被委托账号或用户为什么无法上传下载KMS加密对象? 分享对象时,OBS的SSE-OBS服务端加密方式是否需要授权特殊权限? OBS是否支持对象加密上传? 我对存储在OBS上的数据加密时,可支持哪些加密技术? 为桶配置服务端加密后,OBS会对历史对象进行加密吗?
存储在OBS上的数据高度稳定和安全。在成本方面,OBS即开即用,免去了自建存储服务器带来的资金、时间及人力成本的投入,后期的设备维护也全部交由OBS处理。 华为云提供搬迁方案,帮助用户将自建存储服务器上的数据短时间、低成本、安全、高效地搬迁至OBS。用户可根据数据量、耗时、费用等需求选择适合的方案进行数据搬迁。
对所有账号授予指定对象的读权限 场景介绍 某公司A使用OBS存储了大量全球各地的地图数据,这些数据需要对外开放供所有人查阅。在这种情况下,该公司便可以为这部分数据设置所有账号的读取权限,然后将这些数据对应的URL公开在互联网上,所有人就可以使用这个URL访问或下载这些公开数据了。
建议您开启桶日志,一段时间后分析日志中记录的请求IP等信息,如果请求IP固定且不需要该IP访问对象,可通过设置桶策略,拒绝请求来源的IP访问桶。具体请参见限制指定的IP地址访问桶。 设置防盗链(白名单或黑名单访问) 针对账单中请求量较大的时间点,查询该时间点对应的日志,过滤出请求来源的Referer字段信息,设置防盗链。
您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自各领域的技术牛人,为您解决技术难题。