检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
会导致Executor内存不足,导致占用CPU较高、Executor进程OOM等问题。 解决步骤 通过root用户登录Master1或Master2其中任意一节点,执行以下命令切换到omm用户。 su - omm 执行以下命令,修改“catalina.sh”脚本,搜索“JAVA_OPTS”
ALM-12067 tomcat资源异常 ALM-12068 acs资源异常 ALM-12069 aos资源异常 ALM-12070 controller资源异常 ALM-12071 httpd资源异常 ALM-12072 floatip资源异常 ALM-12073 cep资源异常 ALM-12074
候,发送通知给对应用户。 创建主题 主题是消息发布或客户端订阅通知的特定事件类型。它作为发送消息和订阅通知的信道,为发布者和订阅者提供一个可以相互交流的通道。 登录管理控制台。 单击“服务列表”选择“管理与监管 > 消息通知服务”。 进入消息通知服务页面。 在左侧导航栏,选择“主题管理
extraLibraryPath和spark.executor.extraLibraryPath的值。 方案二: 在FusionInsight Mnanager中Spark2x界面中修改上述三个参数然后重启Spark2x实例之后重新下载客户端,具体步骤如下: 登录FusionInsight
extraLibraryPath和spark.executor.extraLibraryPath的值。 方案二: 在FusionInsight Mnanager中Spark2x界面中修改上述三个参数然后重启Spark2x实例之后重新下载客户端,具体步骤如下: 登录FusionInsight
UI中有一些不允许其他用户看到的数据时,用户可能想对UI进行安全防护。用户一旦登录,Spark2x可以比较与这个用户相对应的视图ACLs来确认是否授权用户访问 UI。 Spark2x存在两种类型的Web UI,一种为运行中任务的Web UI,可以通过Yarn原生页面的应用链接或者REST接口访问。一种为已结束任务的Web
建议合理设置用户的队列权限,最好一个用户只绑定一个队列。 如果客户必须绑定多个队列时,可通过配置全局用户策略指定某用户的默认提交队列。 以MRS 3.x版本集群为例,登录集群Manager界面,单击“租户资源”。 单击“动态资源计划 > 全局用户策略 > 添加全局用户策略”。 “
检查LdapServer进程是否正常。 登录MRS集群详情页面,选择“告警管理”。 查看是否有LdapServer的ALM-12004 OLdap资源异常告警产生。 是,执行2.c。 否,执行2.e。 按照ALM-12004 OLdap资源异常(2.x及以前版本)提供的步骤处理该告警。
ame,就会导致启动失败。 “/etc/hosts”中配置了一对多或者多对一的主机名和IP对应关系,导致在执行hostname和hostname -i获取不到正确的IP和hostname。 解决办法 将修改了节点的hostname全部修改为集群初始的hostname。 排查Web
可以单击“文件”后的 新增加一个文件资源。 在“功能” ,输入用户自定义的名称和函数的类名称。 可以单击“功能”后的 新增加一个自定义函数。 在“设置” ,在“设置”的“键”输入Hive的参数名,在“值”输入对应的参数值,则当前Hive会话会以用户定义的配置连接Hive。 可以单击 新增加一个参数。
传入记录中查找所有当前字段,当发现“col1”不存在时,发生上述异常。 解决这个问题的办法是使用所有schema演进版本来创建uber schema,并使用该schema作为target schema。用户可以从hive metastore中获取schema并将其与当前schema合并。
该操作可以解决添加服务、添加实例、新下载客户端场景下的补丁安装。 登录集群主OMS节点,执行以下命令。 su - omm cd /opt/Bigdata/patches/MRS_3.1.0.0.16/package sh update_package.sh 登录集群备OMS节点,执行以下命令。
8more (kafka.admin.TopicCommand$) 原因分析 用户反馈已经排查了执行此命令的账号权限,此账号具有操作Kafka组件的最高权限,不应该仍然会有权限不足的问题。 经确认执行命令有问题,访问ZooKeeper上所存放的Kafka信息,其路径(Znode)应该加上/kafka,完整的查询命令应该是:
目前支持扩容集群Core节点或Task节点,用户可通过增加节点数量处理业务峰值负载。MRS集群节点扩容中和扩容后对现有集群的业务没有影响,扩容后引起的数据倾斜问题可参考配置HDFS DataNode数据均衡页面内容进行规避。 包周期集群扩容 当用户购买了MRS包周期集群后,在订购的周期之内,用户的业务增长超过
de的权限,可能会导致其他用户无权限访问该znode,导致系统功能异常。另外在3.5.6及以后版本,用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。 操作步骤 启动ZooKeeper客户端
on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常 问题 在omm用户(非root用户)下,通过spark-submit提交yarn-client模式的任务,会出现FileNotFoundException异常,任务
查看工具帮助信息。 set 设置服务端属性。 show 显示服务属性和Loader所有元数据信息。 create 创建连接器和作业。 update 更新连接器和作业。 delete 删除连接器和作业。 clone 复制连接器和作业。 start 启动作业。 stop 停止作业。 status
INTO或LOAD DATA任务。如果Executor不是不同的节点分配的,CarbonData将会启动较少的task。 解决措施: 您可以适当增大Executor内存和Executor核数,以便YARN可以在每个节点上启动一个Executor。具体的配置方法如下: 配置Executor核数。
安全模式:privacy 普通模式:authentication Web最大并发连接数限制 为了保护Web服务器的可靠性,当访问的用户连接数达到一定数量之后,对新增用户的连接进行限制。防止大量同时登录和访问,导致服务不可用,同时避免DDOS攻击。 参数修改入口:在FusionInsight
Exception “beforeStart”方法有以下作用: 帮助用户解析SQL语句中的UDF参数。 配置UDF运行时必要的信息,即指定UDF访问原始数据时采取的策略和输出结果序列的类型。 创建资源,比如建立外部链接,打开文件等。 UDFParameters UDFParamete