检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive提供了Hadoop的SQL能力,主要参考标准的SQL,Hive进行了部分的修改,形成了自己的特有的SQL语法HQL(Hive SQL),更加适合于Hadoop的分布式体系,该SQL目前是Hadoop体系的事实标准。 Hive调优 用户输入HQL,Hive将HQL进行词法解析,语法解析,之后生成执行计划,
型。 零信任不根据网络空间位置决定可信度,其重心在于保护资源,而不是网段。与传统安全理念对比,它将网络防御的重心从静态的、基于网络的边界转移到了用户、设备和资源上。所有的资源(如人/物/终端/应用/网络/数据/供应链)都需要进行持续身份验证和信任评估,从全局视角执行动态安全策略。
数据库自动备份:RDS、DDS、GaussDB等数据库服务提供了缺省自动备份功能,实例每5分钟自动进行一次增量备份,以保证数据库的可靠性。 DCS备份:DCS服务针对非单机实例提供了自动备份和手工备份功能,建议设置自动备份策略进行备份。 此外,用户也可使用第三方备份软件进行备份。 华为云中
进行数据复制;如存在有状态数据的BMS实例。 相关云服务和工具 存储容灾服务 SDRS 弹性云服务器 ECS 云数据库 RDS 分布式缓存服务 DCS 对象存储服务 OBS 父主题: RES03 跨AZ容灾
单Region方案 采用单Region时,前端以CCE为例,建议方案如下: 类别 实施方案 冗余 ELB、CCE、DCS、Kafka、RDS、DDS等云服务实例均高可用部署。 备份 RDS、DDS数据库自动备份,在数据故障时使用最新备份数据恢复,可以满足可用性目标要求。 容灾 应
相关云服务和工具 弹性云服务器 ECS 裸金属服务器 BMS 弹性负载均衡 ELB 云容器引擎 CCE 文档数据库服务 DDS 分布式缓存服务 DCS MapReduce服务 MRS 父主题: RES01 冗余
云服务可靠性介绍 概述 ECS弹性云服务器 BMS裸金属服务 CCE云容器引擎 ELB弹性负载均衡 AS弹性伸缩 DCS分布式缓存服务 DMS分布式消息服务 RDS云数据库 云数据库 TaurusDB云数据库 OBS对象存储服务 父主题: 韧性支柱
华为云云服务提供了手工恢复功能,用户可定期执行恢复操作,以进行恢复测试。 相关云服务和工具 云备份 CBR 云数据库 RDS 分布式缓存服务 DCS 父主题: RES02 备份
FunctionGraph函数执行何种逻辑。 策略: 正确的使用连接池,保持连接存活并重用在上一次调用中建立的连接(HTTP,数据库、redis等)。 通过接口调用FunctionGraph函数时,建议客户端维护http连接池,减少http连接初始化时间。 避免在每次调用时重新初
组件之间通过消息队列、消息缓存、负载均衡器等交互(即松耦合关系),可一定程度上屏蔽组件的状态变化,防止对其他组件造成影响 相关云服务和工具 弹性负载均衡服务 ELB 分布式缓存服务 DCS 分布式消息服务Kafka版 分布式消息服务RabbitMQ版 分布式消息服务RocketMQ版 事件网格 EG 父主题: RES08
系统的buffer cache,一般预留20%。 从HDFS中读入数据时,要考虑block解压缩后的数据膨胀。 规划一定的磁盘作为缓存空间,包括缓存数据与日志。 调优目标 Flink调优的目标是在不影响其他业务正常运行的前提下,高效的完成业务目标,通常为了达成该目标,一般需要最大
定义可观测对象 OPS06-03 制定和实施可观测性指标 OPS06-04 规范化应用日志 OPS06-05 实施依赖项遥测 OPS06-06 实施分布式跟踪 OPS06-07 通过可观测性指标引入自动化措施 父主题: 卓越运营支柱
需要应用系统能针对这种短时间故障进行适配处理,主要是采用重试机制。 云中故障需要重试的典型场景有: 实例主备切换时可能会导致连接中断,如DCS、RDS实例由于某些原因主备切换时,会导致连接中断,需要客户端重试。 实例由于故障重启可能会导致通信中断,如ECS所在物理服务器由于硬件原
其中前端无状态应用可采用ECS或CCE;后端数据库基于不同业务类型可采用不同数据库,通常采用RDS for MySQL;同时通常还会使用DCS、Kafka等中间件及DDS文档数据库;为满足对应的可用性目标,建议采用以下方案。 单Region方案 双Region方案 父主题: 参考架构
是否建立了完备的可观测体系? 1.建立可观测体系 2.定义可观测对象 3.制定和实施可观测性指标 4. 规范化应用日志 5. 实施依赖项遥测 6. 实施分布式跟踪 7. 通过可观测性指标引入自动化措施 OPS07 是否进行故障分析与管理? 1. 创建可操作的告警 2. 创新监控看板 3. 支持事件管理
键事件监控可以使用CTS服务,或自行搭建。 CES服务支持ECS、EVS、OBS、VPC、ELB、AS等IaaS服务,以及RDS数据库,DCS、DMS等高可用中间件的主要指标监控,支持用户上报自定义监控指标。如果用户自行搭建监控系统,也可以通过CES SDK获取指定服务的监控指标。
平台,为用户提供了更稳定、更弹性、运维更便捷的在线云服务。 适用场景: GaussDB:基于华为主导的openGauss生态推出的企业级分布式关系型数据库,具有云上高可用、高可靠,高安全、弹性伸缩、一键部署、快速备份恢复等能力,适用于高并发、大数据量、以联机事务处理为主的交易型应
Kafka性能优化 Kafka性能优化 优化客户端配置 生产者配置建议 可参考配置建议。 消费者配置建议 参数 推荐值 说明 max.poll.records 500 消费者一次能消费到的最大消息数量,默认为500,如果每条消息处理时间较长,建议调小该值,确保在max.poll.interval