检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
间内服务不可用，该段时间JDBCServer无法控制，取决于Yarn服务的资源情况。 Spark中通过类似于HiveServer2的Thrift JDBC提供服务，用户通过Beeline以及JDBC接口访问。因此JDBCServer集群的处理能力取决于主Server的单点能力，可扩展性不够。
Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明
MRS如何连接spark-beeline？ 用root用户登录集群Master节点。 配置环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
该操作可以解决添加服务、添加实例、新下载客户端场景下的补丁安装。 登录集群主OMS节点，执行以下命令。 su - omm cd /opt/Bigdata/patches/MRS_3.2.0-LTS.1.10/package sh update_package.sh 登录集群备OMS节点，执行以下命令。
勾选所有的NameNode实例，选择“更多 > 滚动重启实例”进行重启。重启完成后，勾选对应的DataNode实例，选择“更多 > 重启实例”进行重启，重启结束后，查看本告警是否恢复。 是，处理完毕。 否，执行8。 查看NameNode和DataNode之间的网络情况。 以root用户登录管理页面
告警解释 系统每30秒周期性检测HDFS Router堆内存使用大小和能够分配的最大堆内存大小，计算堆内存使用大小和能够分配的最大堆内存大小的比值得到堆内存使用率，并把实际的HDFS Router堆内存使用率和阈值相比较。HDFS Router堆内存使用率指标默认提供一个阈值范围。当HDFS
务的部分业务不中断。 MRS 3.x版本暂不支持在管理控制台执行本章节操作。 当前MRS集群中，服务和实例是否支持滚动重启如表1所示。 表1 服务和实例是否支持滚动重启 服务 实例 是否支持滚动重启 Alluxio AlluxioJobMaster 是 AlluxioMaster
配置多并发客户端连接JDBCServer 操作场景 JDBCServer支持多用户多并发接入，但当并发任务数量较高的时候，默认的JDBCServer配置将无法支持，因此需要进行优化来支持该场景。 操作步骤 设置JDBCServer的公平调度策略。 Spark默认使用FIFO（First
数据目录下文件或目录的权限不对，GaussDB要求文件权限至少是600，目录权限至少为700。 图2 目录权限列表 图3 文件权限列表 解决办法 按照图2和图3的权限列表，修改相应文件和目录的权限。 重启相应的DBServer实例。 父主题： 使用DBservice
SQL以及DataSet还提供了一种通用的访问多数据源的方式，可访问的数据源包括Hive、CSV、Parquet、ORC、JSON和JDBC数据源，这些不同的数据源之间也可以实现互相操作。Spark SQL复用了Hive的前端处理逻辑和元数据处理模块，使用Spark SQL可以直接对已有的Hive数据进行查询。
Hudi支持Partial Update 本章节内容仅适用于MRS 3.3.1-LTS及之后版本。 该特性允许用户使用Hudi完成部分列更新。用户可以使用同一主键下的最新数据逐一更新每行数据的不同列字段，直到整条数据完整。 场景说明 当前开源社区提供了PartialUpdateA
x及之前版本，请单击“保存配置”，勾选“重启角色实例”并单击“确定”，重启角色实例。 等待界面提示“操作成功”，单击“完成”，配置已修改。 角色实例配置参数修改后，如果实例状态为“配置过期”则需要重启此实例，可在“实例”页面勾选“配置过期”的实例，选择“更多 > 重启实例”。 配置参数前包含图标时，
由于数据倾斜，导致MapReduce只会在某几个节点访问，造成这些节点上负载很大，而其他节点闲置。 针对单个应用程序任务，只能使用一次DFSColocationAdmin和DFSColocationClient实例。如果每次对文件系统操作都获取此实例，会创建过多HDFS链接，消耗HDFS资源。 如果需要对col
当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的元数据。 必须使用同一时间点的OMS和LdapServer备份数据进行恢复，否则可能造成业务和操作失败。 MRS集群默认使用DBService保存Hive的元数据。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。
orumpeer实例“ZooKeeper服务客户端资源连接状况”监控值分析，当规格不满足要求时，增大如上服务端参数配置值即可。 滚动重启3个节点耗时约15分钟 Guardian 直接重启 请求Guardian失败，任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响
jar包冲突列表 Jar包名称 描述 hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群内的ZooKeeper包“zookeeper*.jar”。 使
远端节点的主机端口。 登录用户名称 xxx 登录远端节点的用户名称。 远端节点用户需要对下载路径具有写权限。 登录方式 密码 登录方式： 密码：使用密码登录。 SSH私钥：使用SSH私钥登录。 免密：选择该方式，用户需要具有免密登录节点的功能。 登录用户密码 xxx “登录方式”选择“密码”时，需要配置该参数。
添加删除MRS集群组件前提条件 需要在IAM 用户所属的用户组中，设置用户组的权限。 由于在集群上添加服务和删除服务属于高危操作，因此需要给该用户组绑定MRS FullAccess、MRS Administrator、Server Administrator 、Tenant Guest和MRS Administrator或Tenant
安全模式下在提交source.jar之前，请确保已经进行kerberos安全登录，并且keytab方式下，登录用户和所上传keytab所属用户必须是同一个用户。 拓扑提交成功后，请登录HDFS集群查看/user/foo目录下是否有文件生成。 如果使用票据登录，则需要使用命令行定期上传票据，具体周期由票据刷新截止时间而定，步骤如下。
so，而使用系统自带的libssl.so（因为hadoop native目录没有带该包） 。由于这两个库版本不匹配，导致了python文件运行时出现段错误。 解决方案 方案一： 修改Spark2x客户端conf目录下spark-default.conf文件，清空（直接赋值为空） 配置项spark.driver
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
