检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果您是IAM用户,可以使用该方式登录OBS Browser+。 其他服务提供商账号登录 如果您有云账号,可以使用该方式登录OBS Browser+。 前提条件 为账号开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 如果您的网络环境需要通过代理访问,请您在登录前,单击“更多 > 设置”设置网络代理。 使
在哪里可以获取AK和SK? IAM用户如果希望使用AK/SK访问OBS,必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在使用Browser+访问OBS时,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。
SSE-OBS中国站已全网上线。 SSE-C以API接口实际上线区域为准。 桶级和对象级服务端加密 下表为桶级和对象级服务端加密的介绍和对比: 表2 桶级和对象级服务端加密对比 对比项 桶级服务端加密 对象级服务端加密 使用场景 如果您想要开启后所有对象上传时强制加密,可开启桶级的服务端加密。 如果
的大部分功能。 支持多段上传。 可以使用本地磁盘作为缓存提高IO性能。 约束与限制 s3fs不支持挂载并行文件系统。 随机写或追加写文件场景需要重写整个文件,会有带宽浪费。 由于网络延迟,元数据操作(如列举目录)性能较差。 不支持文件或目录的原子性重命名。 支持挂载到多台云服务器
对于大量小文件的上传、下载,主要受TPS(单位时间内处理文件个数)影响,而非带宽。 批量上传可以增加“-j”和“-p”等参数,并将参数值调高,观察传输速度是否提高。参考性能调优最佳实践 父主题: OBS Browser+和obsutil等工具相关
cation> </CreateBucketConfiguration> 签名示例代码 以下是各语言计算签名的示例代码: Java中签名的计算方法 Python中签名的计算方法 C语言中签名的计算方法 1 2 3 4 5 6 7 8 9 10
时的网页的缓存行为。 默认取值: 无 contentLanguage String 可选 参数解释: 说明访问者希望采用的语言或语言组合,以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。 默认取值: 无 expires String 可选
据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。
Java SDK)。 默认取值: 无 contentLanguage String 可选 参数解释: 说明访问者希望采用的语言或语言组合,以根据自己偏好的语言来定制。详情请参见HTTP协议中关于ContentLanguage的定义。 默认取值: 无 expires String 可选
obs=ERROR obsa写入时临时文件的目录配置 Flume写OBS时会先写入本地磁盘缓冲区,然后上传到OBS,如果对写入OBS有极致性能要求请选择高性能磁盘作为缓冲区,在core-site.xml文件中增加配置: 1 2 3 4 <property> <name>fs.obs.buffer
不支持深度归档,支持标准、低频和归档 暂不支持专属对象存储场景 暂不支持DWR数据工坊对接 并行文件系统可以挂载至多个Linux服务器实现并行读,但不建议使用此方法并发写。 性能限制 并行文件系统每TB默认提供最大带宽10MB/s。 命名限制 对并行文件系统的文件进行命名时,不允许连续使用两个“/”字符。例如,将文件命名为“test//123
op集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务
对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。 无 对象存储类型 对象的存储类型,不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。默认与桶的存储类型保持一致,可以设置为与桶的存储类型不同。 无 对象自定义元数据 用户对上传到桶中对象的自定义属性描述,以便对对象进行自定义管理。
仅建议10万级以下文件定时上传,10万级以上定时上传请参考利用crontab配置定时任务。 当周期开始时,OBS Browser+会扫描本地文件与桶中对应路径的对象进行对比,仅在对象不存在,或者对象大小与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时才会进行上传。 父主题: 最佳实践
OBS SDK支持使用分段上传上传大对象,分段上传分为三步:初始化分段上传任务、逐个或并行上传段、合并段。 表1 OBS SDK分段上传 语言 参考链接 Java 分段上传(Java SDK) Python 分段上传(Python SDK) C 分段上传(C SDK) Go 分段上传(Go
身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、
加密算法、密钥长度限制更改导致的不同sdk版本间的数据加解密失败 建议您综合安全和性能方面来决定RSA密钥的长度,未来版本会增加密钥长度限制,必须为3072 bits长度以上。 建议您综合安全和性能方面来设置secureRandom。 建议您使用pkcs8格式的rsa密钥。 加密过程与加密套件
多AZ和单AZ的性能对比请参见存储类别对比。 请根据业务情况提前规划数据冗余存储策略,桶一旦创建成功,数据冗余存储策略就确定了,后续无法更改。 归档存储的桶不支持多AZ功能。 深度归档存储的桶不支持多AZ功能。 存储类别 桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。
存储诉求。 对象存储服务设置有四类桶存储类别,分别为:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求。创建桶时可以指定桶的存储类别,桶的存储类别可以修改。 在OBS中,桶名必须是全局唯一的且不能修改,即用户创建的桶不能与自
close方法显式关闭,回收连接资源。 如果未调用ObsClient -> close方法,则该方法会被ObsClient的析构函数调用,以确保连接资源的释放。 出于DNS解析性能和OBS服务可靠性的考虑,不允许将endpoint设置为IP,必须使用域名访问OBS服务。 父主题: 初始化