检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。
图1 配置数据存储位置 父主题: 管理数据
兼容EC2类型 /meta-data/placement/availability-zone 查询弹性云服务器的AZ信息。 兼容EC2类型 /meta-data/public-ipv4 查询弹性云服务器的弹性公网IP地址。 多网卡情况下,只显示主网卡的弹性公网IP地址。
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
1、DGC-DLM集群调用ECF框架扩容AZ失败,根据后台日志查看发现是无法查到AZ信息 2、由于DGC没有页面添加AZ入口,直接扩容新AZ时无法把AZ名称插入ECF表rds_availablezone中,手动收入规避
表1 成本预估(仅供参考) 华为云服务 计费说明 每月花费 对象存储服务 OBS 区域:西南-贵阳一 存储空间:数据存储(单AZ存储) 默认存储类别:标准存储 桶策略:私有 请求费用:0.01元/万次 存储空间:0.10元/GB/月 流量费用: 公网流出流量 / 00:00-08:
在保障集群跨AZ部署方案的可靠性,存在如下几个挑战: 1. 上层应用难以感知云资源亚健康状态 云主机可用性依赖底层资源如网络、存储、计算等资源状态。而这些底层资源故障,尤其是亚健康状态,往往无法体现到云主机的状态上,进而无法传递给上层业务应用感知。
数据存储:多AZ存储 购买数量:1 0.1390元/GB/月 请求费用:0.0100元/万次 预计每月新增10TB数据量,购买存储包1280元 云搜索服务CSS 区域:华北-北京四 计费模式:包年包月 集群类型:Elasticsearch 数据库版本:7.10.2 节点数量:3 节点规格
数据备份和恢复 OBS支持多版本控制,可以在一个桶中保留多个版本的对象,以便方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。 跨AZ容灾 在创建桶时,数据冗余存储策略可选择多AZ存储,数据将冗余存储至多个AZ中,可靠性更高。
对象存储卷(OBS) 云容器实例支持将OBS创建的对象存储卷挂载到容器的某一路径下。OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。详情见对象存储卷。
通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传输、加密存储、数据风险识别以及合规审计等措施,帮助用户建立安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规。 功能模块 数据安全包括: 数据密级 对数据进行等级划分,方便数据的管理。
OBS 区域:华北-北京四 存储空间:数据存储(多AZ存储) 默认存储类别:标准存储 桶策略:私有 请求费用:0.0100元/万次 存储空间:0.0990元/GB/月 流量费用: 公网流出流量 / 00:00-08:00(闲时)0.2500元/GB 公网流出流量 / 08:00-
、高可用的对象存储服务 可靠、较低成本的实时访问存储服务 归档数据的长期存储,存储单价更优惠 适用场景 云应用 | 数据分享 | 内容分享 | 热点对象 网盘应用 | 企业备份 | 活跃归档 | 监控数据 档案数据 | 医疗影像 | 视频素材 | 带库替代 设计持久性-单AZ
数据存储 配置措施 参照操作步骤进入“策略基线”界面。 选择“存储”页签。 单击“配置措施”进入“配置措施”界面。 内置措施:DSC针对数据不同周期依据华为云数据安全治理经验内置相应的措施,鼠标移动到措施名称可以查看内置措施的说明。
服务韧性 TaurusDB标准版使用EVS作为存放数据的云盘,本身具有三副本的冗余,提供9个9的数据持久性,还通过跨区域复制、AZ之间数据容灾、AZ内反亲和等技术方案,保障实例的可靠性和可用性。 图1 可靠性架构保证数据稳定,业务可靠 父主题: 安全
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。
OBS 区域:华北-北京四 存储空间:数据存储(单AZ存储) 默认存储类别:标准存储 桶策略:私有 请求费用:0.0100元/万次 存储空间:0.0990元/GB/月 流量费用: 公网流出流量 / 00:00-08:00(闲时)0.2500元/G 公网流出流量 / 08:00-24
DLI的数据可存储在哪些地方 DLI支持存储哪些格式的数据? DLI支持如下数据格式: Parquet CSV ORC Json Avro DLI服务的数据可以存储在哪些地方? OBS:SQL作业,Spark作业,Flink作业使用的数据均可以存储在OBS服务中,降低存储成本。
该API属于RocketMQ服务,描述: This API is used to query the AZ ID for creating an instance.接口URL: "/v2/available-zones"
对象存储服务 OBS 区域:华北-北京四 存储空间:数据存储(多AZ存储) 默认存储类别:标准存储 桶策略:私有 请求费用:0.0100元/万次 存储空间:0.1390元/GB/月 流量费用: 公网流出流量 / 00:00-08:00(闲时)0.2500元/GB 公网流出流量 /