检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一修改版本。 在“dependencies”参数中设置各个jar包的版本的时候可以直接使用上述定义的参数传递。 如果遇到其他三方包冲突，可以通过查找依赖关系确认是否存在相同包不同版本的情况，尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件：获取MRS应用开发样例工程。
Storm提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 根据场景开发拓扑 通过典型场景，您可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 编译并运行程序 指导用户将开发好的程序编译并提交运行。 查看程序运行结果 程序运行结果会写在用户指定的路径下。 用户还可以通过UI查看应用运行情况。
环境即Flink客户端，请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 Flink提供了样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个Flink工程。 导入并配置Flink样例工程 准备安全认证 如果您使用的是安全集群，需要进行安全认证。
请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 准备工程 Flink提供了样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个Flink工程。 导入并配置Flink样例工程 准备安全认证 如果您使用的是安全集群，需要进行安全认证。
前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”如果不存在，则手动添加该参数项。 表1 参数说明 参数 描述
一修改版本。 在“dependencies”参数中设置各个jar包的版本的时候可以直接使用上述定义的参数传递。 如果遇到其他三方包冲突，可以通过查找依赖关系确认是否存在相同包不同版本的情况，尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件：通过开源镜像站获取样例工程。
一修改版本。 在“dependencies”参数中设置各个jar包的版本的时候可以直接使用上述定义的参数传递。 如果遇到其他三方包冲突，可以通过查找依赖关系确认是否存在相同包不同版本的情况，尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件：获取MRS应用开发样例工程。
优化Flink Netty网络通信参数 操作场景 Flink通信主要依赖netty网络，所以在Flink应用执行过程中，netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 操作步骤 以下配置均可在客户端的“conf/flink-conf.yaml
arn.nm.liveness-monitor.expiry-interval-ms”属性中指定的周期内，一直尝试为同一个NM分配任务。 可以通过两种方式来避免上述问题： 使用其他的nodeSelectPolicy，如RANDOM。 参考修改集群服务配置参数，进入Yarn“全部配
MRS用户无法同步至Ranger管理界面 问题 在MRS Manager界面创建了一个账户，在Ranger管理界面无法查看到该用户，重启UserSync后，可以查看到该用户。 回答 需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”，需要根据业务实际情况调整该参数值： 登录到MRS
topology: topo1 执行以下命令，查看Storm中的拓扑。启用Kerberos认证的集群，只有属于“stormadmin”或“storm”的用户可以查看所有拓扑。 storm list 执行以下命令，删除Storm中的拓扑。 storm kill 拓扑名称 父主题： 使用Storm
组件，不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。 创建MRS 3.x及之后版本集群时，可以在创建集群的界面看到ZooKeeper组件，并默认勾选。 父主题： 集群创建类
即使任务失败，Container挂载的目录也应该被清除。 上述问题是由于删除动作超时导致的。完成某些任务所使用的时间已远超过删除时间。 为避免出现这种场景，您可以参考修改集群服务配置参数，进入Yarn“全部配置”页面。在搜索框搜索“yarn.nodemanager.linux-container-executor
arn.nm.liveness-monitor.expiry-interval-ms”属性中指定的周期内，一直尝试为同一个NM分配任务。 可以通过两种方式来避免上述问题： 使用其他的nodeSelectPolicy，如RANDOM。 参考修改集群服务配置参数，进入Yarn“全部配
十进制函数和操作符 DECIMAL字面量 可以使用DECIMAL 'xxxxxxx.yyyyyyy' 语法来定义DECIMAL类型的字面量。 DECIMAL类型的字面量精度将等于字面量（包括尾随零和前导零）的位数。范围将等于小数部分（包括尾随零）的位数。 示例字面量 数据类型 DECIMAL
MRS用户无法同步至Ranger管理界面 问题 在MRS Manager界面创建了一个账户，在Ranger管理界面无法查看到该用户，重启UserSync后，可以查看到该用户。 回答 需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”，需要根据业务实际情况调整该参数值： 登录到MRS
产品咨询类 MRS可以做什么？ MRS支持什么类型的分布式存储？ 什么是区域和可用区？ MRS是否支持更换网段？ MRS集群内节点是否支持降配操作？ 不同版本的Hive之间是否可以兼容？ 数据存储在OBS和HDFS有什么区别？ 10亿级数据量场景的解决方案有哪些？ zstd压缩算法有什么优势？
以root用户登录到告警定位参数中描述的Flume ClientIP所在主机。 执行ps -ef|grep flume |grep client命令，查看是否存在Flume Client进程。 是，执行5。 否，执行11。 检查Flume Client端的配置。 以root用户登录到告警定位参数中描述的Flume
情请参考访问MRS集群Manager。 如果需要删除资源池，需满足以下要求： 集群中任何一个队列不能使用待删除资源池为默认资源池，删除资源池前需要先取消默认资源池，请参见配置MRS租户队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略，删除资源池前需要先清除策略，请参见清除MRS租户队列配置。
updateCount(FSDirectory.java:745) 若发生此异常，请为租户配置足够的磁盘空间配额。 例如： 需要的磁盘空间配置可以按照如下方法计算： 如果HDFS的副本数为3， HDFS默认的块大小为128MB，则最小需要384MB的磁盘空间用于写表的schema文件到HDFS上。计算公式：no
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
