检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS服务的读写带宽。
根据数据大小以及使用时长收费,具体参见DES价格详情 云专线方式 每月大于100TB的数据量,需要实时在线上传 需要部署专线 根据专线带宽决定 根据专线距离以及带宽收费,具体参见云专线价格详情 您也可以使用备份软件实现本地数据备份至OBS。
单位:字节/s ≥ 0 byte/s 用户 1分钟 get_mirror_fetch_bandwidths 镜像回源抓取带宽 该指标用于统计镜像回源抓取请求带宽。
存储单个对象小于64KB按64KB计算,大于64KB按实际大小计算。 按需计费 包年包月 深度归档存储数据容量(受限公测) OBS中存储的深度归档存储数据所占用的存储空间容量。 存储时间小于180天按180天计算,大于180天按实际天数计算。
根据数据大小以及使用时长收费,具体参见DES价格详情 云专线方式(实时) 每月大于100TB的数据量,需要实时在线上传 需要部署专线 根据专线带宽决定 根据专线距离以及带宽收费,具体参见云专线价格详情 OBS工具方式 OBS工具方式适用于百GB规模的数据搬迁。
图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS API),实现Hadoop生态多计算引擎(Hive、Spark等)兼容对接。
示例一 以上传对象为例,对一个对象或者段的每一次操作都会计算一次请求次数。假设上传100个对象到桶: 在都使用PutObject方式上传的情况下,会发送100次PUT类请求,计算100次请求次数。
标准存储->归档存储 存储费用 转换为归档存储后,按归档存储计算存储费用。 低频访问存储->归档存储 存储费用 转换为归档存储后,按归档存储计算存储费用。 当低频访问存储早于30天转换为归档存储,需要补足剩余天数的低频存储费用。
OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗?
MRS提供用户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力
性能限制 并行文件系统每TB默认提供最大带宽10MB/s。 命名限制 对并行文件系统的文件进行命名时,不允许连续使用两个“/”字符。例如,将文件命名为“test//123.txt”,该命名不符合规范,系统会出现报错。 父主题: 并行文件系统
客户数据中心测序仪上的数据通过云专线自动快速上传到华为云,通过由ECS、CCE、MRS等服务搭建的计算集群进行分析计算,分析计算产生的数据和计算结果存储到OBS中,其中上传到华为云的基因数据自动转为低成本的归档对象保存在OBS提供的归档存储中,计算得出的测序结果通过公网在线分发到医院和科研机构
是 v3.21.12 新功能 新增obs.WithTrafficLimitHeader接口,此接口用于限制单个连接的带宽。 是 低于v3.21.12(停止配套,EOM) - 版本过低,已停止维护,建议及时升级版本。
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。
如果您指定的头域属于需要参与签名计算,SDK 会自动进行计算。 使用方法为: 调用sdk接口时,在extensionHeaders参数中以字典形式传入指定的头域。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。
x-obs-content-sha256头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验(性能会有部分下降,在安全上推荐该算法)。
(Node.js SDK) 上传对象和上传段支持携带x-obs-content-sha256头域,该头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验
(Java SDK) 上传对象和上传段支持携带x-obs-content-sha256头域,该头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验(性能会有部分下降
上传对象和上传段支持携带x-obs-content-sha256头域,该头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验(性能会有部分下降,在安全上推荐该算法
经过认证的请求总是需要包含一个签名值,该签名值以请求者的访问密钥(AK/SK)作为加密因子、结合请求体携带的特定信息计算而成。计算签名的过程已经包含在SDK中,使用者只需将访问密钥在SDK初始化阶段设置好即可,无需关心签名计算的具体实现。