检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用内存缓存、内存映射等技术，以提高数据处理和计算的速度和效率。 负载均衡：通过负载均衡技术，将数据和计算任务均匀地分配到多个节点上，以避免单个节点过载，提高系统的可用性和性能。 数据分区：将数据按照一定的规则分成多个分区，以便更好地进行数据处理和计算。 网络优化：通过优化网络带
大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍
云数据库 TaurusDB云数据库 云数据库 云数据库 TaurusDB是华为自研的最新一代企业级高扩展高性能分布式数据库，完全兼容MySQL。基于华为最新一代DFV存储，采用计算存储分离架构，128TB的海量存储，故障秒级切换，既拥有商业数据库的高可用和性能，又具备开源低成本效益。
SEC08-07 数据主体有权访问其个人隐私数据 数据主体有权访问其个人隐私数据是指根据相关的隐私保护法律和规定，个人拥有权利要求数据处理者提供关于其个人数据的访问权限。 风险等级 高 关键策略 向用户提供查询、更新个人数据的功能，且必须是实时、无成本，符合主体参与原则。 数据主体访问个人数据之前必须有认证机制。
RDS云数据库 云数据库RDS（Relational Database Service，简称RDS）是一种基于云计算平台的稳定可靠、弹性伸缩、便捷管理的在线云数据库服务。 可靠性功能 常见故障模式 父主题： 云服务可靠性介绍
性能数据采集 收集性能数据是收集指标和日志的过程，这些指标和日志提供有关工作负载性能的信息。 此数据包括数值，称为指标。 指标描述系统在特定时间点的状态。 它还包括包含组织成记录的不同类型的数据的日志。 通过收集性能数据，可以监视和分析工作负载的性能。 可以使用此信息来识别性能瓶
开源社区数据库之一，对MySQL有较好的兼容性；RDS for MariaDB适用于各种规模的应用程序。 关系型数据库的选择建议： 场景一：基于兼容性原则 考虑平滑上云，上云前系统中数据库的选型已经过业务实践的检验，建议选取生态相同的关系型数据库服务进行平替，避免出现数据库层与应
传统大数据方案计算和存储融合部署，扩容磁盘时必须扩容计算节点，在实际使用时产生浪费。存算分离是一种数据处理技术，它将数据存储和数据处理（计算）分开，使得存储和计算可以独立地进行优化和扩展，这种技术提高数据处理的效率、降低成本并满足大规模数据存储和分析的需求。 如某导购网站日志分析
数据持久度 数据持久度是指数据不丢失的概率，即存储在预计周期内不出现数据丢失的概率，可以用于度量一个存储系统的可靠性。其只表示数据是否丢失的概率，不体现数据丢失多少；数据持久度的预计周期，一般按一年进行预计。 影响存储数据持久度的主要因子有：冗余数、磁盘失效率与数据修复时间。其中
pReduce/Spark的执行情况针对性的进行任务的优化。 HiveMetaStore：因为Hive的MetaStore可能是外部的独立数据库，所以它的性能也会影响到整个HiveServer的性能，主要包括HiveMetaStore访问时间，访问次数，连接并发数。 MapRed
数据库性能优化 以下章节我们结合一些具体建议和案例来说明如何针对数据库的使用进行性能优化： 1.优化数据库配置实践 数据库的配置参数应从具体业务诉求着手，根据实际需要进行设计；华为云在各个数据库云服务中均提供了默认的配置参数，以满足最普遍的业务需要。 华为云提供了多款数据库服务，
rtition个数。 任务容易出现内存溢出：部分数据分片较大，单个task处理数据过大，或者executor中并行度不足，单个task内存不足导致。此时应减少executor数量，增大数据分片。 数据量少，但小文件数量多：减少数据分片，在reduce算子后执行coalesce算子，以减少task数量，减少cpu负载。
SFS等云服务配置默认加密，以自动加密存储的数据。启用RDS、DWS等数据库的加密，可降低拖库、数据泄露带来的安全风险。 针对敏感数据，采取加密、掩码、匿名化等方式进行保护。这样，即使敏感数据被非法窃取，也可降低这类数据泄露的风险。 应该监控加密和解密密钥的使用，并根据数据用途、类型和分类来选择不同的加密密钥。
RES02-02 自动数据备份 对于需要备份的数据，可根据该数据的RPO指标要求，设置定期备份策略进行自动备份。 风险等级 高 关键策略 使用华为云备份服务或第三方备份软件对数据进行备份，并可根据RPO要求设置自动备份频率。CBR云备份服务可对ECS/BMS/EVS/SFS Tu
SEC07 通用数据安全 SEC07-01 识别工作负载内的数据 SEC07-02 数据保护控制 SEC07-03 对数据操作实施监控 SEC07-04 静态数据的加密 SEC07-05 传输数据的加密 父主题： 数据安全与隐私保护
SEC08-02 主动通知数据主体 SEC08-03 数据主体的选择和同意 SEC08-04 数据收集合规性 SEC08-05 数据使用、留存和处置合规性 SEC08-06 向第三方披露个人数据合规性 SEC08-07 数据主体有权访问其个人隐私数据 父主题： 数据安全与隐私保护
主动通知数据主体 主动通知数据主体是指数据控制者主动向数据主体（个人）提供信息，告知其数据处理活动的相关信息，例如数据收集的目的、数据处理的方式、数据使用的范围、数据存储的期限等。这种通知通常以隐私政策、用户协议、提示信息等形式呈现。 风险等级 中 关键策略 主动通知数据主体的重要性在于：
Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。 集群服务部署架构
安全传输通道：确保数据传输的通道是安全的，避免使用不安全的网络或公共网络来传输敏感数据。 确保敏感数据在云侧和客户端之间传输时是加密的状态，即使数据被窃取，也难以解密。 端到端加密：采用端到端加密的方式，确保数据在传输的整个过程中都是加密的，从数据生成端到数据接收端都能保持加密状
SEC07-02 数据保护控制 针对数据分级分类结果，对每一类数据进行不同级别的数据保护控制，保护数据的机密性和完整性。 风险等级 高 关键策略 实施适当的数据保护措施，如加密和身份验证。 管理数据访问权限。了解谁可以访问、修改和删除数据，有助于限制数据访问权限，减少数据泄露风险。验证
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
