检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群中的用户管理由LDAP服务管理提供，又依赖于操作系统的sssd或nscd服务，用户的建立到同步到sssd服务需要一定时间，如果此时用户没有生效，或者sssd版本存在bug的情况下，某些情况下在ZooKeeper节点会出现用户无效的情况，导致创建Topic异常。 解决办法 重启sssd/nscd服务。
yarn-client实现流程： 在yarn-client模式下，Driver部署在Client端，在Client端启动。yarn-client模式下，不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求，ResourceMan
当集群网络拓扑发生变化时，需要使用FusionInsight Manager为主机重新分配机架，相关服务才会自动调整。 本章节仅适用于MRS 3.x及以后版本。 修改集群节点机架信息对系统的影响 修改主机机架名称，将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存
上正在运行的HetuEngine计算实例。 HetuEngine基于Ranger权限管控 新安装集群默认采用Ranger进行鉴权，对于历史版本升级集群或者手动停用了Ranger鉴权的集群，可参考如下操作重新启用Ranger鉴权。 启用Ranger鉴权的集群，管理员可通过Range
coalescePartitions.enabled都为true时，单次读取请求中存在多个连续块。这个特性还依赖于一个可重定位的序列化器，使用的级联支持编解码器和新版本的shuffle提取协议。 true spark.sql.adaptive.localShuffleReader.enabled 当“true”且spark
coalescePartitions.enabled都为true时，单次读取请求中存在多个连续块。这个特性还依赖于一个可重定位的序列化器，使用的级联支持编解码器和新版本的shuffle提取协议。 true spark.sql.adaptive.localShuffleReader.enabled 当“true”且spark
可以将Doris表映射为DataFrame或者RDD，推荐使用DataFrame。 支持在Doris端完成数据过滤，减少数据传输量。 该章节仅适用于MRS 3.5.0及之后版本。 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。
fka的协议类型，在本示例中，配置为“SASL_PLAINTEXT”。 “TOKENID”和“HMAC”参考Kafka Token认证机制工具使用说明为用户生成Token时产生。 在使用Token认证机制时，需要把Kerberos认证机制注释掉，保证代码运行过程中只使用一个认证机制，如下所示：
> 样例工程名称 > Lifecycle > compile”，双击“compile”运行maven的compile命令。 图3 mavne工具 clean和compile 方法二 在IDEA的下方Terminal窗口进入“pom.xml”所在目录，手动输入mvn clean compile命令进行编译。
日志归档规则： FlinkResource运行日志： 服务日志默认20MB滚动存储一次，最多保留20个文件，不压缩。 针对MRS 3.x之前版本，Executor日志默认30MB滚动存储一次，最多保留20个文件，不压缩。 日志大小和压缩文件保留个数可以在Manager界面中配置或者
> 样例工程名称 > Lifecycle > compile”，双击“compile”运行maven的compile命令。 图3 mavne工具 clean和compile 方法二 在IDEA的下方Terminal窗口进入“pom.xml”所在目录，手动输入mvn clean compile命令进行编译。
fka的协议类型，在本示例中，配置为“SASL_PLAINTEXT”。 “TOKENID”和“HMAC”参考Kafka Token认证机制工具使用说明为用户生成Token时产生。 在使用Token认证机制时，需要把Kerberos认证机制注释掉，保证代码运行过程中只使用一个认证机制，如下所示：
WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。
Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过该类的get方法得到具体类。get方法存在几个重载版本，常用的是这个。 public FSDataOutputStream create(Path f) 通过该接口可在HDFS上创建文件，其中f为文件的完整路径。
大请求、保护内部请求、记录不合理请求等功能，减少过载场景下对HBase服务的影响，保障服务稳定性。 该章节仅适用于MRS 3.3.0及之后版本。 流量突增过载场景调优 当业务侧突然出现流量峰值，例如，请求量暴涨10倍等场景，可执行以下操作进行调整： 登录FusionInsight
的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限，数据库中的表也将自动添加或删除查询权限。 MRS 3.2.0及之后版本，如果数据库中分区超过百万级，并且分区都在表目录下。如需加快授权速度，可以在FusionInsight Manager 界面，选择“集群 >
集群用户可以通过FusionInsight Manager创建自动或手动任务备份Doris数据。 该章节仅适用于MRS 3.3.1及之后版本集群。 前提条件 如果数据要备份至远端HDFS中，需满足以下条件： 需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。 主集群内
Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过该类的get方法得到具体类。get方法存在几个重载版本，常用的是这个。 public FSDataOutputStream create(Path f) 通过该接口可在HDFS上创建文件，其中f为文件的完整路径。
Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过该类的get方法得到具体类。get方法存在几个重载版本，常用的是这个。 public FSDataOutputStream create(Path f) 通过该接口可在HDFS上创建文件，其中f为文件的完整路径。
Hadoop类库中最终面向用户提供的接口类为FileSystem，该类为抽象类，只能通过该类的get方法得到具体类。get方法存在多个重载版本，常用的为该方法。 public FSDataOutputStream create(Path f) 通过该接口可在HDFS上创建文件，其中“f”为文件的完整路径。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
