检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 碎片管理功能可
w= 默认取值: 无 KeyMD5 string 作为请求参数时可选 参数解释: SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。 约束限制: 由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ== 默认取值:
同一个桶中存储的对象名是唯一的。 在桶未开启多版本的情况下,如果在指定的桶内已经有相同的对象键值的对象,用户上传的新对象会覆盖原来的对象;为了确保数据在传输过程中没有遭到破坏,用户可以在请求消息头中加入Content-MD5参数。在这种情况下,OBS收到上传的对象后,会对对象进行MD5校验,如果不一致则返回出错信息。
OBS、EVS和SFS有什么区别? 如何判断是否内网访问OBS? 我的OBS桶性能是否会受其他用户业务的影响? OBS总览页数据不一致的原因是什么? 境外数据传输回国场景下的丢包和网络稳定性问题
储在OBS中的数据安全可靠。 表1 OBS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) OBS支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 构造请求 数据冗余存储 OBS采用Erasure C
th环境变量中增加npm的安装目录(一般为Node.js的安装目录)。 您可能需要重启电脑使环境变量生效。 如果您使用npm安装依赖时出现网络错误,请使用代理。 父主题: 快速入门
要求用户公网带宽空闲,需要人工操作客户端或脚本启动数据上传 家用100Mbps带宽,1TB耗时1天左右 数据传输不收取费用,仅OBS收取基本的存储费用 CDM方式 单次小于8TB的数据量 需要用户单独购买CDM服务 1TB~8TB/天(取决于网络和数据读取源的读写性能) 根据购买CDM实例规格以及使用时长收费,具体参见CDM价格详情
Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
OBS数据一致性校验 应用场景 对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。 方案架构 OBS提供通过计算MD5值的方式对上传下载的数据进行一致性校验。默认情况下,OBS不会进行一致性校验,您可以通过以下方式在上传下载时主动启用校验。 各
SK)对访问用户的身份进行鉴权,结合IAM权限、桶策略、ACL、防盗链等多种方式和技术确保数据传输与访问的安全。 支持敏感操作保护,针对删除桶等敏感操作,可开启身份验证。 需自行承担网络信息安全、技术漏洞、误操作等各方面的数据安全风险。 可靠性 通过五级可靠性架构,保障数据持久性高达99
8TB)需要上传至OBS,可以参考搬迁本地数据至OBS和迁移第三方云厂商数据至OBS。 断点续传 当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的
Windows Server 2019 Linux SUSE 11 Euler OS 2 CentOS 7 macOS macOS 10.13.4 工具优势 obsutil具有四大优势: 简单、易用; 无需安装,轻便小巧,即下即用; 同时支持Windows/Linux/macOS三大平台; 配置多元化,性能优良。
开始图片处理(API接口) 使用流程 OBS提供了REST接口。REST从资源的角度来观察整个网络,分布在各处的资源由URI(Uniform Resource Identifier)确定,而客户端的应用通过URL(Unified Resource Locator)来获取资源。UR
OBS的持久性和可用性如何? 更多 obsutil等工具相关 如何配置obsutil定时任务? 使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 使用obsutil下载文件到99%后失败 obsfs挂载并行文件系统失败 更多 技术专题 技术、观点、课程专题呈现 对象存储专题
(GCC) 10.3.0 linux编译环境: NAME="CentOS Linux" VERSION="7 (Core)" ID="centos" ID_LIKE="rhel fedora" VERSION_ID="7" PRETTY_NAME="CentOS Linux 7 (Core)"
progressListener ProgressListener 必选 参数解释: 设置数据传输监听器,用于获取下载进度,详见ProgressListener。 表2 ProgressListener(传输进度接口)成员如下 方法名称 返回值类型 是否必选 描述 progressChanged
型的上层业务应用。 在全球多区域部署了OBS基础设施,具备高度的可扩展性和可靠性,用户可根据自身需要指定区域使用OBS,由此获得更快的访问速度和实惠的服务价格。 介绍视频 产品架构 OBS的基本组成是桶和对象。 桶是OBS中存储对象的容器,每个桶都有自己的存储类别、访问权限、所属
是否为最后一块);只有调用合并段接口时才会校验。 OBS会将服务端收到段数据的ETag值(段数据的MD5值)返回给用户。 为了保证数据在网络传输过程中不出现错误,可以通过设置MD5值,并放到Content-MD5请求头中;OBS服务端会计算上传数据的MD5值与SDK计算的MD5值比较,保证数据完整性。
server=server) try: # 设置网络流 conn = httplib.HTTPConnection('www.a.com', 80) # 获取网络流 conn.request('GET', '/') # 读取网络流 content = conn
Windows操作系统 obsutil config -i=src_ak -k=src_sk -e=src_endpoint -crr Linux操作系统 ./obsutil config -i=src_ak -k=src_sk -e=src_endpoint -crr 使用obsutil