检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SEC02 身份认证 SEC02-01 对账号进行保护 SEC02-02 安全的登录机制 SEC02-03 安全管理及使用凭证 SEC02-04 一体化身份管理 父主题: 基础设施安全
大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题: 云服务性能优化介绍
击或泄露,可能导致严重的安全问题和数据泄露。因此,身份认证的安全性首先要考虑对此账号进行保护。 风险等级 高 关键策略 强密码:使用强密码来保护账号,包括数字、字母、特殊字符的组合,并确保密码足够长且复杂。 多因素认证(MFA):启用多因素认证为保护账号提供了额外的安全层次。除了
内存优化:通过调整内存分配和使用策略,如使用内存缓存、内存映射等技术,以提高数据处理和计算的速度和效率。 负载均衡:通过负载均衡技术,将数据和计算任务均匀地分配到多个节点上,以避免单个节点过载,提高系统的可用性和性能。 数据分区:将数据按照一定的规则分成多个分区,以便更好地进行数据处理和计算。 网络优化:通过优化
使用数据加密服务DEW托管凭据。实现对数据库账号口令、服务器口令、SSH Key、访问密钥等各类型凭据的统一管理、检索与安全存储。 使用数据加密服务DEW中的凭据管理服务(CSMS)定期轮换凭证。 使用IAM委托。委托操作权限给云服务或者其它账号。 相关云服务和工具 数据加密服务
工作负载的最佳实践。 应用场景 云架构治理体系建设 云平台将虚拟化、数据库与中间件、大数据与AI等技术融合业界最佳实践,以托管云服务的方式提供企业使用。随着业务上云,企业将不受限于自身的技术能力使用先进IT技术,企业可以基于先进的云平台与WA方法论,构建现代化架构治理体系,使能组
划,并对执行计划进行优化,最后提交任务给YARN去执行。所以Hive的调优分为以下几个部分: 接入层:主要包括用户的连接性能,如网络速度、认证、连接并发数。 HiveServer:以SQL的优化为主,执行计划是SQL优化的主要手段,通过接口查看Hive对整个SQL语句是如何进行任
理员自定义新用户的密码时可选择强制用户在激活后修改默认密码。 集中的身份管控: 使用单点登录:考虑使用单点登录解决方案,集中管理用户的身份认证信息,简化用户登录流程,提高安全性和用户体验。 多账号场景,对账号的集中管控。 相关云服务和工具 IAM身份提供商 华为账号使用的安全最佳实践
rtition个数。 任务容易出现内存溢出:部分数据分片较大,单个task处理数据过大,或者executor中并行度不足,单个task内存不足导致。此时应减少executor数量,增大数据分片。 数据量少,但小文件数量多:减少数据分片,在reduce算子后执行coalesce算子,以减少task数量,减少cpu负载。
Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。 集群服务部署架构
行身份联邦。 相关云服务和工具 IAM身份中心 IAM Identity Center 统一身份认证服务 IAM 应用身份管理服务 OneAccess 父主题: SEC02 身份认证
数据持久度 数据持久度是指数据不丢失的概率,即存储在预计周期内不出现数据丢失的概率,可以用于度量一个存储系统的可靠性。其只表示数据是否丢失的概率,不体现数据丢失多少;数据持久度的预计周期,一般按一年进行预计。 影响存储数据持久度的主要因子有:冗余数、磁盘失效率与数据修复时间。其中
SEC08-07 数据主体有权访问其个人隐私数据 数据主体有权访问其个人隐私数据是指根据相关的隐私保护法律和规定,个人拥有权利要求数据处理者提供关于其个人数据的访问权限。 风险等级 高 关键策略 向用户提供查询、更新个人数据的功能,且必须是实时、无成本,符合主体参与原则。 数据主体访问个人数据之前必须有认证机制。
性能数据采集 收集性能数据是收集指标和日志的过程,这些指标和日志提供有关工作负载性能的信息。 此数据包括数值,称为指标。 指标描述系统在特定时间点的状态。 它还包括包含组织成记录的不同类型的数据的日志。 通过收集性能数据,可以监视和分析工作负载的性能。 可以使用此信息来识别性能瓶
数据安全与隐私保护 SEC07 通用数据安全 SEC08 数据隐私保护 父主题: 安全性支柱
SEC08-02 主动通知数据主体 SEC08-03 数据主体的选择和同意 SEC08-04 数据收集合规性 SEC08-05 数据使用、留存和处置合规性 SEC08-06 向第三方披露个人数据合规性 SEC08-07 数据主体有权访问其个人隐私数据 父主题: 数据安全与隐私保护
安全传输通道:确保数据传输的通道是安全的,避免使用不安全的网络或公共网络来传输敏感数据。 确保敏感数据在云侧和客户端之间传输时是加密的状态,即使数据被窃取,也难以解密。 端到端加密:采用端到端加密的方式,确保数据在传输的整个过程中都是加密的,从数据生成端到数据接收端都能保持加密状
RDS云数据库 云数据库RDS(Relational Database Service,简称RDS)是一种基于云计算平台的稳定可靠、弹性伸缩、便捷管理的在线云数据库服务。 可靠性功能 常见故障模式 父主题: 云服务可靠性介绍
SEC07 通用数据安全 SEC07-01 识别工作负载内的数据 SEC07-02 数据保护控制 SEC07-03 对数据操作实施监控 SEC07-04 静态数据的加密 SEC07-05 传输数据的加密 父主题: 数据安全与隐私保护
SEC07-02 数据保护控制 针对数据分级分类结果,对每一类数据进行不同级别的数据保护控制,保护数据的机密性和完整性。 风险等级 高 关键策略 实施适当的数据保护措施,如加密和身份验证。 管理数据访问权限。了解谁可以访问、修改和删除数据,有助于限制数据访问权限,减少数据泄露风险。验证