检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
适用的计费模式 存储费用 标准存储数据容量 OBS中存储的标准存储数据所占用的存储空间容量,区分单AZ存储和多AZ存储。了解单AZ和多AZ的区别 存储时间按照数据在OBS中存储的实际天数计算。 存储单个对象小于64KB按64KB计算,大于64KB按实际大小计算。 按需计费 包年包月 低频访问存储数据容量
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 由于OBS以桶为单位提供基于HTTP/HTTPS协议的分布式存储服务,而浏览器默认不允许Ajax跨域请求,因此使用OBS BrowserJS
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
问题一: Q:创建桶时,数据冗余存储策略选择单AZ存储和多AZ存储有什么区别? A:选择多AZ存储,数据将冗余存储至多个AZ中,可靠性更高。选择单AZ存储,数据仅存储在单个AZ中,但相比多AZ更加便宜。收费详情请参见产品价格详情。 问题二: Q:选择多AZ存储后,数据是以副本的形式分别
例如删除对象、取消多段上传任务。 生命周期转换请求:在生命周期规则执行过程中,标准存储转换为低频访问存储、归档存储或深度归档存储,低频访问存储转换为归档存储或深度归档存储,归档存储转换为深度归档存储时,产生的生命周期转换请求。 计费说明 资费项 计费项 含义 适用的计费模式 请求费用
加密示例 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 上传对象加密 以下代码展示了在上传对象时使用服务端加密功能: 设置SSE-C方式下使用的密钥,请参考如何生成SSE-C方式的加密密钥。
Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 OBS创建桶时支持选择数据冗余存储策略,选择多AZ存储时,数据冗余存储在同区域的多个AZ。当某个AZ不可用时,仍然能够从其他AZ正常访问数据,适用于对可靠性要求较高的数据存储场景。 创建多AZ桶
桶存储类型 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
标准存储包(多AZ存储) 用于抵扣多AZ桶产生的标准存储数据容量费用。 只适用于多AZ桶产生的标准存储数据容量计费,且只能用于资源包所属区域。 归档存储包 用于抵扣归档存储类别的数据存储容量费用。 只能用于资源包所属区域。归档存储数据均以单AZ模式存储。 公网流出流量包 用于抵扣通过互联网从OBS
OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。
功能说明 在使用 Python SDK 调用接口时,您可以为请求添加自定义头域,以发送用户指定的头域。如果您指定的头域属于需要参与签名计算,SDK 会自动进行计算。 使用方法为: 调用sdk接口时,在extensionHeaders参数中以字典形式传入指定的头域。 接口约束 OBS支持的
无 无 标准存储->低频访问存储 存储费用 转换为低频访问存储后,按低频访问存储计算存储费用。 标准存储->归档存储 存储费用 转换为归档存储后,按归档存储计算存储费用。 低频访问存储->归档存储 存储费用 转换为归档存储后,按归档存储计算存储费用。 当低频访问存储早于30天转换
ntent-sha256头域,该头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验(性能会有部分下降,在安全上推荐该算法),示例代码如下: 本示例
选中待分享的文件,并单击右侧操作列的“分享”。 此时,链接信息中的链接就已经生效并开始计时,有效期为默认的5分钟。修改URL有效期,链接会相应变化,新链接的有效期从修改时开始计算。 图1 分享文件 URL相关操作。 单击“打开URL”,将在新页面打开文件进行预览或者直接下载文件到本地。 单击“复制链接”,您可以将该
标准存储包(多AZ存储)的作用是什么? 标准存储包(多AZ存储)用于抵扣多AZ桶产生的标准存储数据容量费用,仅可在支持多AZ特性的区域购买。 父主题: 计费相关
x-obs-content-sha256头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验(性能会有部分下降,在安全上推荐该算法)。 上传对象示例代码如下:
ntent-sha256头域,该头域值为请求消息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验(性能会有部分下降,在安全上推荐该算法),上传对象示例代码如下: