检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SessionManager.openSession(SessionManager.java:314) ... 12 more 原因分析 业务量大导致连接HiveServer单个节点最大连接数超过了200，需要调大连接HiveServer实例的最大连接数。 解决办法 进入Hive服务配置页面：
密码不是随机生成的，用户类型为“人机”用户。 对系统的影响 MRS 3.x及之后版本，初始密码为系统随机生成的组件运行用户，在修改密码后需要重启MRS集群，重启期间会造成业务暂时中断。 前提条件 MRS 2.x及之前版本，已在Master1节点准备客户端。 MRS 3.x及之后版本，已在集群内的任一节点安装了客户端，并获取此节点IP地址。
afka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大，当前Partition的设置不合理。 处理步骤 检查Topic副本数配置。 在FusionInsight Manager首页，选择“运维
Karlie,23 Candice,27 在HDFS客户端，执行如下命令获取安全认证。 cd {客户端安装目录} kinit {用于认证的业务用户} 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data（hdfs dfs命令有同样的作用），创建对应目录。
制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加HBase的Ranger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。 已登录Manager。 创建HBase角色 在Manager界面，选择“系统 > 权限 > 角色”。 单击“添加角色”，然后在“角色名称”和“描述”输入角色名字与描述。
x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置，请重装客户端后再次修改客户端配置。 父主题： MRS集群补丁说明
balance_switch true balancer_enabled 执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。 是，处理完毕。 否，执行12。 检查备集群HBase服务规模 对HBase集群扩容，增加节点，并在节点
in之后查看告警是否清除。 是，告警清除，操作结束。 否，告警未清除，执行6。 重启实例期间实例不可用，当前实例节点的ClickHouse业务会执行失败。 检查LdapServer服务是否正常 登录FusionInsight Manager页面，选择“集群 > 服务”，查看Lda
如下命令： cd {客户端安装路径} source bigdata_env 集群已启用Kerberos认证（安全模式）： kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure
Spark应用开发简介 Spark简介 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative
HBase HA方案介绍 HBase HA原理与实现方案 HBase中的HMaster负责Region分配，当RegionServer服务停止后，HMaster会把相应Region迁移到其他RegionServer。为了解决HMaster单点故障导致HBase正常功能受到影响的问题，引入HMaster
制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加HBase的Ranger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。 已登录Manager。 创建HBase角色 在Manager界面，选择“系统 > 权限 > 角色”。 单击“添加角色”，然后在“角色名称”和“描述”输入角色名字与描述。
oupby或者where等。 前提条件 已安装客户端，具体参见使用MRS客户端。 操作步骤 连接到Spark CarbonData。 根据业务情况，准备好客户端，使用root用户登录安装客户端的节点。 例如在Master2节点更新客户端，则在该节点登录客户端，具体参见使用MRS客户端。
文件输出：将已生成的字段通过分隔符连接并输出到文件。 HBase输出：将已生成的字段输出到HBase表。 字段简介 作业配置中的字段是Loader按业务需要定义的与用户数据对应的一种数据项，它拥有具体类型，必须与用户实际数据类型保持一致。 父主题： 算子帮助
files2memory配置的值到合适值，根据实际内存和任务情况对此值进行调整。 保存配置并重启受影响的服务或者实例。 如调整后问题仍未解决，请根据业务情况调整HiveServer的GC参数至合理的值。 父主题： 使用Hive
否，执行8。 等待一段时间后，查看当前告警是否清除。 是，操作结束。 否，执行8。 检查是否下游处理Kafka Topic中消息过慢。 根据用户业务判断，是否存在下游消费Topic中消息较慢的情况。 是，执行9。 否，执行10。 根据实际情况分析下游作业导致Topic中消息不能及时、快
balance_switch true balancer_enabled 执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。 是，处理完毕。 否，执行12。 检查备集群HBase服务规模 对HBase集群扩容，增加节点，并在节点
检查主备FlinkServer节点间链路是否正常。 通过“集群 > 服务 > Flink > 实例”查看FlinkServer两个实例的业务IP。 以root用户登录异常FlinkServer实例所在的服务器，用户密码为安装前用户自定义，请咨询系统管理员。 执行以下命令检查另一
文件输出：将已生成的字段通过分隔符连接并输出到文件。 HBase输出：将已生成的字段输出到HBase表。 字段简介 作业配置中的字段是Loader按业务需要定义的与用户数据对应的一种数据项，它拥有具体类型，必须与用户实际数据类型保持一致。 父主题： Loader算子帮助
计算的多个Task组成。 Stage 每个Job由多个Stage组成，每个Stage是一个Task集合，由DAG分割而成。 Task 承载业务逻辑的运算单元，是Spark平台上可执行的最小工作单元。一个应用根据执行计划以及计算量分为多个Task。 Spark原理 Spark的应用运行架构如图2所示，运行流程如下所示：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
