检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当使用Ranger作为spark sql的权限管理服务时，访问RangerAdmin需要使用集群中的证书。若用户未使用集群中的JDK或者JRE，而是使用第三方JDK时，会出现访问RangerAdmin失败，进而spark应用程序启动失败的问题。 在这个场景下，需要进行以下操作，将集群中的证书导入第三方JDK或者JRE中。
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果当前集群配置的参数小于集群规模要求的配置标准时，可能会导致用户作业运行延迟，服务页面响应缓慢等问题。严重时会导致集群节点Agent或者OMS进程运行异常，导致组件作业提交、OMS数据同步等失败。 可能原因 OMS配置同集群规模不匹配。
ZSTD_JNI是ZSTD压缩算法的native实现，相较于ZSTD而言，压缩读写效率和压缩率更优，并允许用户设置压缩级别，以及对特定格式的数据列指定压缩方式。 目前仅ORC格式的表支持ZSTD_JNI压缩方式，而普通的ZSTD压缩算法支持全量存储格式而不仅限于ORC，所以建议用户对数据压缩有特殊要求的场景下再使用此特性。
设置各个节点上的Supervisor角色实例（包含其启动并管理的Worker进程）所使用的物理CPU百分比。根据Supervisor所在节点业务量需求，适当调整参数值，优化CPU使用率。 JVM调优 当应用程序需要处理大量数据从而占用更多的内存时，存在worker内存大于2GB的情况，推荐使用G1垃圾回收算法。
mod_db_passwd ommdba 输入ommdba的原密码后，再输入两次新密码。 密码复杂度要求： 密码字符长度为16～32位。 至少需要包含大写字母、小写字母、数字、特殊字符~`!@#$%^&*()-+_=\|[{}];:",<.>/?中的3种类型字符。 不能与用户名或倒序用户名相同。
要使用提交拓扑的用户身份持续运行。在拓扑运行的过程中，worker进程可能需要正常重启以保持拓扑工作。若业务用户的密码被修改，或密码使用天数超过了默认密码策略指定的最大有效期，则会影响拓扑正常运行。MRS集群管理员需要根据企业安全要求，为Storm业务用户配置独立的密码策略。 如
操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高可用、高性能模式后，数据可靠性会降低
创建MRS IAM自定义权限策略 如果系统预置的MRS权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项（Action）请参考策略及授权项说明。 目前支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务
解决问题列表请参考补丁基本信息。 安装补丁前提条件 集群有以下要求： 请保持网络畅通，请勿随意拔插网线，避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 升级过程中会重启OMS，会导致MRS Manager页面无法访问，预计持续3-5分钟。
操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高可用、高性能模式后，数据可靠性会降低
建议系统管理员对账户例行检查，检查的内容包括： 操作系统、Manager以及各组件的账户是否有必要，临时账户是否已删除。 各类账户的权限是否合理。不同的管理员拥有不同的权限。 对各类账户的登录、操作记录进行检查和审计。 密码维护建议 用户身份验证是应用系统的门户。用户的账户和密码的复杂性、有效期等需根据客户的安全要求进行配置。
单击待重置数据库用户密码的服务名称，然后在服务概览页面中单击“停止服务”。 在弹出窗口中输入当前登录的用户密码确认身份，单击“确定”。 确认停止服务的影响后，等待服务成功停止。 单击待修改数据库用户密码的服务，选择“更多 > 修改数据库密码”，在弹出窗口中输入当前登录的用户密码确认身份，单击“确定”。
当使用Ranger作为spark sql的权限管理服务时，访问RangerAdmin需要使用集群中的证书。如果用户未使用集群中的JDK或者JRE，而是使用第三方JDK时，会出现访问RangerAdmin失败，进而spark应用程序启动失败的问题。 在这个场景下，需要进行以下操作，将集群中的证书导入第三方JDK或者JRE中。
负载均匀，数据分片的个数和范围与源表的数据无关，而是由源表的存储结构（数据块）确定，颗粒度可以达到“每个数据块一个分区”。 性能稳定，完全消除“数据偏斜”和“绑定变量窥探”导致的“索引失效”。 查询速度快，数据分片的查询速度比用索引快。 水平扩展性好，如果数据量越大，产生的分片就越多，
基于FIFO调用队列的NameNode请求处理 如果将FIFO队列替换为一种被称作FairCallQueue的新型队列，这种情况就能够得到改善。按照这种方法，FAIR队列会根据调用者的调用规模将传入的RPC调用分配至多个队列中。调度模块会跟踪最新的调用，并为调用量较小的用户分配更高的优先级。
负载均匀，数据分片的个数和范围与源表的数据无关，而是由源表的存储结构（数据块）确定，颗粒度可以达到“每个数据块一个分区”。 性能稳定，完全消除“数据偏斜”和“绑定变量窥探”导致的“索引失效”。 查询速度快，数据分片的查询速度比用索引快。 水平扩展性好，如果数据量越大，产生的分片就越多，
基于FIFO调用队列的NameNode请求处理 如果将FIFO队列替换为一种被称作FairCallQueue的新型队列，这种情况就能够得到改善。按照这种方法，FAIR队列会根据调用者的调用规模将传入的RPC调用分配至多个队列中。调度模块会跟踪最新的调用，并为调用量较小的用户分配更高的优先级。
修改MRS集群节点机架信息 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求： 为了提高通信速率，希望不同主机之间的通信能够尽量发生在同一个机架之内，而不是跨机架。
据库授权三个场景下的操作。 操作步骤 SparkSQL表授权、列授权、数据库授权与Hive的操作相同，详情请参见Hive用户权限管理。 在权限管理中，为了方便用户使用，授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题，取消表的任意权限，系统不会自
beros认证的集群中提交作业的内置用户名为omm。 hbase shell在开启Kerberos认证的集群提交作业的内置用户名为hbase，在未开启Kerberos认证的集群中提交作业的内置用户名为omm。 Presto在开启Kerberos认证的集群提交作业的内置用户名为om
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
