检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
普通模式 普通模式的集群不同组件使用各自原生开源的鉴权行为，详细鉴权机制如表1所示。 在安装了Ranger服务的普通模式集群中，Ranger可以支持基于OS用户进行组件资源的权限控制，支持启用Ranger鉴权的组件包括：HBase、HDFS、Hive、Spark2x、Yarn。
Spark2x的开源新特性请参考Spark2x开源新特性说明。 Spark的特点如下： 通过分布式内存计算和DAG（无回路有向图）执行引擎提升数据处理能力，比MapReduce性能高10倍到100倍。
如果集群启用了Kerberos认证，则需要在工作环境准备CSV文件，然后可以使用开源HDFS命令，参考5将文件从工作环境导入HDFS，并设置Spark组件用户在HDFS中对文件有读取和执行的权限。
run-example 用来运行或者调试Spark开源社区中自带的样例代码。 示例：执行SparkPi run-example --master yarn --deploy-mode client SparkPi 100 父主题： Spark接口介绍
获取样例工程 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件，并在本地配置好相关开发工具，可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支，下载并获取MRS相关样例工程。
准备应用程序 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件，并在本地配置好相关开发工具，可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支，下载并获取MRS相关样例工程。
排查LdapServer节点是否故障，例如业务IP不可达、网络延时过长等；若故障为阶段性，则需在故障时排查，并尝试执行top命令查看是否存在异常软件。 检查是否NodeAgent进程内存不足。 以root用户登录故障节点，执行以下命令查看NodeAgent进程日志。
如果需要配置SSL，truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。
鉴权日志 kafka-authorizer.log Kafka开源自带鉴权插件运行日志。 此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 ranger-authorizer.log Ranger鉴权插件运行日志。
ClickHouse开源回合：解决分区中存在两个相同parts内部错误问题。 ClickHouse开源回合：修复带有稀疏列参数的函数元组carsh问题。 解决ClickHouse滚动重启表短暂只读的问题。 解决ClickHouse Balancer实例部分日志不回滚的问题。
ssl false 是否使用SSL加密。设置为true时还必须指定“密钥(keystore)”和“密钥存储密码(keystore-password)”。 keystore-type JKS SSL启用后密钥存储类型。
约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 encrypt_type Integer 参数解释： 加密类型。
远端备份至HDFS，不支持HDFS加密目录。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录等策略规格。
步骤2：准备应用程序 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件，并在本地配置好相关开发工具，可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支，下载并获取MRS相关样例工程。
开源支持spark standalone模式提交，但不推荐使用，该模式资源使用率低，并且使用HTTP，可能存在安全风险。 （可选）在bin目录下调用spark-sql或spark-beeline脚本后便可直接输入SQL语句执行查询等操作。
如果需要配置SSL，truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。 执行本样例工程，需配置“allow.everyone.if.no.acl.found”为“true”，详情请参考配置对接Kafka。
在购买包含有Task类型节点组件的集群时，参考自定义购买MRS集群配置集群软件配置和硬件配置信息后，在“高级配置”页签的弹性伸缩栏，打开对应Task节点类型后的开关按钮，即可进行弹性伸缩规则及资源计划的配置或修改。
“examples”文件夹：可获取开源样例jar包。 在导入样例工程之前，IntelliJ IDEA需要进行配置JDK。 打开IntelliJ IDEA，单击“Configure”下拉按钮。
鉴权日志 kafka-authorizer.log Kafka开源自带鉴权插件运行日志。 此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 ranger-authorizer.log Ranger鉴权插件运行日志。
用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
