检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 前提条件 已安装Ranger服务且服务运行正常。 已启用Hive服务的Ranger鉴权功能，并且需要先重启Hive服
如上步骤中，故障节点“10-10-10-153”同步数据到“PeerID”为“abc1”的备集群失败。 继续执行list_peers命令，查找该“PeerID”对应的集群和HBase实例。 PEER_ID CLUSTER_KEY STATE TABLE_CFS abc1 10.10.10.110,10.10.10
授予不同用户。 Kafka默认用户组如表1所示。 在MRS 3.x及之后版本中，Kafka支持两种鉴权插件：“Kafka开源自带鉴权插件”和“Ranger鉴权插件”。 本章节描述的是基于“Kafka开源自带鉴权插件”的用户权限管理。若想使用 “Ranger鉴权插件”，请参考添加Kafka的Ranger访问权限策略。
Settings”。 弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”，在“Global Encoding”和“Project Encodings”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图2所示。 图2 设置IntelliJ
Settings”。 弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”，在“Global Encoding”和“Project Encodings”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图2所示。 图2 设置IntelliJ
ALM-12053 文件句柄使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测主机文件句柄使用率，并把实际使用率和阈值（系统默认阈值80%）进行比较，当检测到主机文件句柄使用率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备
否，执行5。 手动执行磁盘分区扩容命令 执行以下命令查看磁盘及分区信息。 lsblk 通过告警定位信息中挂载的目录名称，查找对应分区和磁盘，并查看磁盘和分区大小。 例如，挂载目录名为“/srv/BigData/data1”，则其使用的磁盘为“/dev/vdb”，磁盘分区为“/dev/vdb1”。
在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境： Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下：
单击拓扑名称，可查看指定拓扑的详细信息、拓扑状态、Spouts信息、Bolts信息和拓扑配置。 在“Topology actions”区域，用户可以对拓扑执行激活、去激活、重部署、删除操作、调试、停止调试和修改日志级别，即“Activate”、“Deactivate”、“Rebala
用户可以进行监控和告警配置管理、备份管理。 Manager主页介绍（MRS 3.x版本） FusionInsight Manager“主页”提供各集群服务状态预览区及监控状态报表，同时展示集群内告警统计及分析情况信息。 主页右侧可查看集群的不同级别告警个数、运行任务个数、当前用户和帮助信息等内容，如图3所示。
User”下选择框选择用户。 设置用户执行HDFS检查和HDFS修复的权限 在“Resource Path”配置文件夹或文件。 在“Allow Conditions”区域，单击“Select User”下选择框选择用户。 单击“Add Permissions”，勾选“Read”和“Execute”。 设置用户读取其他用户的目录或文件的权限
1.10,192.168.1.20或者192.168.1.*。 Policy Label 为当前策略指定一个标签，您可以根据这些标签搜索报告和筛选策略。 database 适用该策略的Spark2x数据库名称。 “Include”策略适用于当前输入的对象，“Exclude”表示策略适用于除去当前输入内容之外的其他对象。
User”下选择框选择用户。 设置用户执行HDFS检查和HDFS修复的权限 在“Resource Path”配置文件夹或文件。 在“Allow Conditions”区域，单击“Select User”下选择框选择用户。 单击“Add Permissions”，勾选“Read”和“Execute”。 设置用户读取其他用户的目录或文件的权限
ALM-12027 主机PID使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测PID使用率，并把实际PID使用率和阈值进行比较，PID使用率默认提供一个阈值。当检测到PID使用率超出阈值时产生该告警。 当主机PID使用率小于或等于阈值时，告警恢复。 告警属性 告警ID
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
令记录功能，避免信息泄露。 客户端访问flink.keystore和flink.truststore文件的路径配置。 绝对路径：执行该脚本后，在flink-conf.yaml文件中将flink.keystore和flink.truststore文件路径自动配置为绝对路径“/opt
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
配置FlinkServer作业中使用UDF 本章节适用于MRS 3.1.2及之后的版本。 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。用户可以在Flink WebUI界面中上传并管理UDF jar包，然后在运行作业时调用相关UDF函数。 Flink支持以下3类自定义函数，如表1。
配置进程参数 Flink on YARN模式下，有JobManager和TaskManager两种进程。在任务调度和运行的过程中，JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对Flink应用的执行有着很大的影
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
