检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍
吞吐量：在相同资源环境下，执行相同计算任务，查看任务的完成速度 资源利用率：执行计算任务，查看在不同负载情况下，cpu、内存、网络的使用率。 伸缩性： − 横向扩容带来的性能提升曲线：增加资源，执行相同计算任务，查看性能提升比率。 − 增加系统负担带来的性能下降曲线：在相同资源环境下，增加计算负载，查看性能下降比率
合理的使用分区，分区数量不要太多，查询的SQL尽量指定具体的分区值； 具体请参考第5章节11.5 性能调优常用方法。 衡量指标 衡量指标主要用于查看相应的指标来发现Hive服务或执行过程中的一些问题，尽快能定位Hive的性能问题。通常我们查看指标的顺序应该是通用指标，接入层指标
吞吐量：在相同资源环境下，执行相同计算任务，查看任务的完成速度。 资源利用率：执行计算任务，查看在不同负载情况下，CPU、内存、网络的使用率。 伸缩性： − 横向扩容带来的性能提升曲线：增加资源，执行相同计算任务，查看性能提升比率。 − 增加系统负担带来的性能下降曲线：在相同资源环境下，增加计算负载，查看性能下降比率。
PERF05-04 大数据场景资源优化 风险等级 中 关键策略 在大数据场景下，可以通过优化资源的使用和分配，提高系统的性能和效率。以下是一些常见的大数据场景资源优化方法： 分布式存储：使用分布式存储系统，如Hadoop HDFS、Apache Cassandra等，将数据分散存
情权、访问权、更正权等，使其能够行使自己的隐私权利。 数据控制者必须提供隐私声明，隐私声明旨在告诉用户该产品的隐私和数据保护实践，以及在个人信息收集和处理方面用户可做的选择。 隐私声明、个人数据说明应描述产品收集的所有个人数据类型、目的、处理方式、时限等信息。 在产品页面应提供隐
个人数据和敏感信息在收集、存储、处理和传输过程中得到适当的保护，以防止未经授权的访问、使用或泄露。数据隐私保护旨在维护个人隐私权利，保护个人信息的机密性和完整性。 SEC08-01 明确隐私保护策略和原则 SEC08-02 主动通知数据主体 SEC08-03 数据主体的选择和同意
修改用户个人空间的行为（如系统或应用配置变更、下载软件、对用户系统或软件升级），须得到用户的同意。 对未成年人提供服务或收集了包含年龄信息的个人信息时，需要实现从未成年人的监护人处获取同意的功能。 数据控制者应提供对用户的同意和撤销同意行为进行记录的机制。 父主题： SEC08 数据隐私保护
数据主体有权访问其个人隐私数据是指根据相关的隐私保护法律和规定，个人拥有权利要求数据处理者提供关于其个人数据的访问权限。 风险等级 高 关键策略 向用户提供查询、更新个人数据的功能，且必须是实时、无成本，符合主体参与原则。 数据主体访问个人数据之前必须有认证机制。 记录数据的录入或者更新的时间。
的敏感信息进行脱敏时，客户可以通过开启DBSS的隐私数据脱敏功能，以及配置隐私数据脱敏规则来对指定数据库表以及来自特定源IP、用户和应用的查询进行脱敏。 父主题： SEC08 数据隐私保护
误或安全事件时，通过执行彻底地跟踪、告警和分析，可以较快地确定导致威胁的原因。 风险等级 中 关键策略 采集各类安全服务的告警事件，并进行大数据关联、检索、排序，全面评估安全运营态势。 生成定期的安全状态报告，总结安全态势，包括发现的问题、采取的行动和改进措施。 确保所有安全措施
SEC08-01 明确隐私保护策略和原则 明确隐私保护策略和原则是指在处理个人数据时，明确规定和遵守的保护个人隐私数据的总体策略和原则。 风险等级 高 关键策略 明确个人数据的分级及影响。个人数据包括：自然人的email地址、电话号码、生物特征（指纹）、位置数据、IP地址、医疗信
COST08-03 存算分离 风险等级 中 关键策略 传统大数据方案计算和存储融合部署，扩容磁盘时必须扩容计算节点，在实际使用时产生浪费。存算分离是一种数据处理技术，它将数据存储和数据处理（计算）分开，使得存储和计算可以独立地进行优化和扩展，这种技术提高数据处理的效率、降低成本并满足大规模数据存储和分析的需求。
SEC08-06 向第三方披露个人数据合规性 在将个人数据分享、转移或提供给第三方时，数据控制者必须遵守相关的法律法规和隐私保护准则，以确保数据转移活动符合法律规定并尊重数据主体的权利。 风险等级 高 关键策略 产品需评估是否存在将个人数据推送给第三方应用。评估是否存在高度敏感的
功耗密集型业务（如高性能计算、人工智能、深度学习等场景）主要就是消耗计算维度的容量。 内存密集型业务（如大数据处理、图像/视频处理、游戏开发、数据库等场景）主要消耗内存和存储维度的容量。 存储密集型业务（如大型数据库、大数据分析、大规模文件存储、编译构建等场景）可能会比较消耗存储的带宽。 根据业务的特征
低计算成本，应用微服务化可以降低运维复杂度，从而降低运维成本。 广告电商等在线作业服务SLA要求较高，高峰时段明显，使用资源存在潮汐现象；大数据/转码等离线作业容错性高，计算需求大，可容忍较高的时延。为了保证在线业务的性能和稳定性，通常按波峰时需要申请资源，这样在非波峰时段就有资
WEB场景资源优化 风险等级 中 关键策略 对于已经配置好的资源，可以通过优化来提高性能。例如，优化操作系统的设置、调整网络带宽、优化数据库查询等。 云服务资源性能优化步骤包括: 识别性能瓶颈: 通过监控和分析云服务资源使用情况，找出性能瓶颈。 优化资源配置: 根据性能瓶颈，调整云服务资源的配置，如
SEC08-04 数据收集合规性 数据收集合规性是指数据控制者在收集个人数据时需遵守相关的法律法规和隐私保护准则，确保数据收集活动符合法律规定并尊重数据主体的权利。 风险等级 高 关键策略 收集个人数据必须获得数据主体授权。 收集敏感个人数据必须获得数据主体明示同意。 个人数据收
资源优化 PERF05-03 WEB场景资源优化 PERF05-04 大数据场景资源优化 父主题： PERF05 性能优化
云服务性能优化介绍 缓存性能优化 消息队列性能优化 Serverless性能优化 数据库性能优化 人工智能性能优化 大数据性能优化 父主题： 性能效率支柱
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
