检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
00倍的计算能力。Spark可以使用HDFS作为底层存储,使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力,包括小批量流式处理、离线批处理、SQL查询、数据挖掘等,用户可以在同一个应用中无缝结合使用这些能力。 Spark的特点如下:
名称、描述、来源、分布情况、数据敏感度、所属分类级别等详细信息。 相关云服务和工具 数据安全中心 DSC:DSC可根据敏感数据发现策略来精准识别数据库中的敏感数据,并支持从海量数据中自动发现并分析敏感数据使用情况,基于数据识别引擎,对结构化数据和非结构化数据进行扫描、分类、分级,解决数据“盲点”。
等,提高数据访问速度。 代码优化: 对云服务资源使用的代码进行优化,提高代码执行效率。 数据库优化: 对云服务资源使用的数据库进行优化,如索引优化、查询优化等。 负载均衡: 使用负载均衡技术,将请求分发到多个云服务资源,提高系统的处理能力。 监控和调整: 持续监控云服务资源的性能,根据实际情况进行调整,以保持最佳性能。
钥为工作密钥提供加密保护。 使用安全的随机数生成器来生成密钥,确保密钥的随机性和不可预测性。避免使用弱密钥或者固定密钥。 传输密钥: 使用安全的通信渠道传输密钥,如加密通道或者物理传输。 确保传输过程中密钥不被窃取或篡改。 使用密钥: 最小化密钥的使用范围,避免在不必要的情况下暴露密钥。
leader副本故障后,快速完成副本选主,保障Kafka实例持续提供服务。 RabbitMQ集群提供镜像队列,通过镜像在其他节点同步数据。单节点宕机时,仍可通过唯一的访问地址对外提供服务。 RocketMQ使用一主两备架构,备节点通过数据同步的方式保持数据一致。当节点故障时,通过
数据主体的选择和同意是指在个人数据被收集、处理或使用之前,数据处理者需要获得数据主体(个人)的明确同意,并且数据主体有权选择是否同意其个人数据被处理的过程。 风险等级 高 关键策略 收集或使用个人数据前,须明确提示用户,并获得用户的同意,并且允许用户随时关闭对个人数据的收集和使用。 从数据主体系统中传出
可靠性功能 数据备份和恢复 使用CBR云备份服务可对BMS的所有云硬盘(系统盘和数据盘)进行备份,支持基于多云硬盘一致性快照技术的备份服务,并支持利用备份数据恢复裸金属服务器数据,最大限度保障用户数据的安全性和正确性,确保业务安全。详见“备份裸金属服务器”。 集群HA 配合共享云
运行环境安全 企业主机安全服务保护主机安全和容器安全 VPC内访问控制使用网络ACL+安全组 使用漏洞扫描服务定时扫描云上各资源漏洞 数据安全 数据安全中心实现数据全生命周期安全 存储默认启数据加密 关键数据库部署数据库安全服务 使用云备份归档服务防关键数据丢失 安全运营 使用安全云脑鸟瞰整个云上安全
考虑不同的云资源技术选型 风险等级 中 关键策略 定期咨询专家或 华为 合作伙伴,以便确定哪些服务和功能的成本更低。查看华为博客和其他信息源。如在非计算密集型场景,使用华为云的云耀系列服务器取代普通ECS服务器 父主题: COST07 管理和优化资源
它的组件的影响。 风险等级 中 关键策略 对于被依赖项本身,为减少由于服务故障或运行缓慢对依赖它的组件的影响,需要考虑使用以下技术和原则: 减少被依赖项本身的外部依赖。 优化性能,减少消息响应时延和负载。 使用优先队列,优先处理高优先级用户的请求,以便在流量过载时不影响应用系统的核心功能。
当弹性云服务器所在的硬件出现故障时,系统会自动将弹性云服务器迁移至正常的物理机,保障业务受到的影响最小,该过程会导致云服务器重启。详见“物理机故障时,弹性云服务器是否会自动恢复”。 当检测到弹性云服务所在的硬件出现亚健康时,系统会自动化将弹性云服务器热迁移到其他物理服务器上继续运
风险等级 高 关键策略 建议在开发周期的后期执行渗透测试,使系统功能接近预期发布状态,但也要留有足够的时间来解决发现的问题。 采用结构化流程:使用结构化流程确定渗透测试的范围,基于威胁建模的模型保持场景相关性,以确保全面评估系统的安全性。 自动化测试:利用工具自动执行常见或可重复的测试,以加快渗透测试的速度,并提高效率。
可观测性体系是指在云原生架构中通过使用各种工具和技术来实现对应用程序和基础设施的监控告警、日志、故障排除等功能的一套完整的解决方案。性能可观测体系在此基础上突出了性能指标,通过收集和分析性能数据,可以识别系统瓶颈、优化资源分配等,找到性能优化方向。 性能监控对象:服务器、操作系统、数据库、应用程序、网络设备、云服务。
broker_disk_usage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 broker_cpu_core_load CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。 broker_memory_usage 内存使用率 该指标为Kafka节点虚拟机层面采集的内存使用率。
cpu_usage CPU使用率 该指标用于统计ModelArts用户服务的CPU使用率。 mem_usage 内存使用率 该指标用于统计ModelArts用户服务的内存使用率。 gpu_util GPU使用率 该指标用于统计ModelArts用户服务的GPU使用情况。 gpu_mem_usage
的一些参考。 指标观测方法 通用指标的观测 集群机器的CPU,内存,IO的使用情况可以通过Manager的主机管理界面查看到所有Host的资源使用情况。 接入层指标的观测 Manger的服务->Hive服务状态页面可以查看到相关的HiveServer的连接数,HQL的执行成功的统计信息。
以提高ECS的可用性。 对于ECS、BMS、MRS等实例,在使用本地盘时,由于磁盘存在使用寿命上的限制,长时间使用后出现故障的概率会比较高,需要避免使用,而尽可能使用具有高可用能力的EVS磁盘;若必须使用时,则建议使用RAID提升本地盘的可用性,并从应用层实现高可用,以便在一个实
处理,问题和回溯流程,运维可用度评审流程)也会在本白皮书的其他最近章节详述。 设计建议: 相关云服务和工具 云运维中心 COC 华为云AOM服务 云监控服务 CES 华为云LTS服务 应用性能管理 APM 父主题: OPS01 建立持续改进的团队文化和标准化的运维体系
关键策略 相同流量模型的业务,可共享网络带宽,带宽需要满足所有共享业务的需求 不同流量模型的业务,为了避免相互干扰,建议使用各自独立的共享带宽实例 不同特性的业务,建议使用各自独立的域名隔离。 父主题: RES05 网络高可用
自定义检测:仅当平台指标不足时,才建议开发人员可以添加自定义代码采集独有的性能指标。 使用业界可观测的标准。请考虑使用围绕业界标准构建的工具,例如OpenTelemetry。 建议:使用分布式的调用链技术,可以识别多个服务和组件之间请求链路;通过收集调用链数据实现数据流端到端的分析,产品阻塞瓶