检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
S -Dfastjson.parser.safeMode=true" 使用omm用户在主OMS节点执行如下命令重启Manager Web 服务。 $OMS_RUN_PATH/workspace/ha/module/harm/plugin/script/tomcat stop $O
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. org.apache
010 SparkStructuredStreamingJavaExample 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 SparkStructuredStreamingPythonExample
JVM_ARGS="$JVM_ARGS -Dfastjson.parser.safeMode=true" 使用omm用户在主OMS节点执行如下命令重启Controller 服务。 sh /opt/Bigdata/om-server/om/sbin/restart-controller.sh 在主OMS节点查看进程。
distcp命令跨集群复制数据时需要所有DataNode节点网络互通。根据不同的迁移场景需要使用不同的方式先打通两套集群之间网络连接。 客户线下数据中心迁移数据到华为云MRS集群,通过云专线服务为用户搭建本地数据中心与云上VPC之间的专属连接通道。可以使用华为云的云专线服务或使用第三方的云专线服务来连通华为云网络。
* Returns the valid segments for the query based on the filter condition * present in carbonScanRdd. * * @param carbonScanRdd * @return Array
_2() > (2 * 60)) { return true; } return false; } }); //对符合的female信息进行打印显示
la、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 2.1.0.11补丁安装后,需要登录备Master节点(登录MRS Manager,在
t; 600525ms exceeds 600000ms 原因分析 MetaStore客户端连接超时,MRS默认MetaStore客户端和服务端连接的超时时间是600s,在Manager页面调大“hive.metastore.client.socket.timeout”为“3600s”。
p的集群,并且能够直接读取现存的Hadoop数据。 MRS服务的Spark组件具有以下优势: MRS服务的Spark Streaming组件支持数据实时处理能力而非定时触发。 MRS服务的Spark组件支持Structured Streaming,支持DataSet API来构建
equals("female")) { return true; } else { return false; } }
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
的个数来分配map数(一个block一个map)。通过如下配置参数进行调整。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数配置-1 参数 描述 默认值 mapreduce.input.fileinputformat
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: 用户可在Manager系统中,选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: MRS 3.x之前的版本集群执行以下操作: 用户在MRS控制台上,选择“租户管理 > 资源分布策略”。
[localhost:21000] > use udfs; [localhost:21000] > create function my_lower(string) returns string location '/user/hive/udfs/hive.jar' symbol='org.apache.hadoop
执行Spark任务报内存不足告警如何处理? 问题现象 执行Spark任务就会报内存不足告警,告警id:18022,可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数,限制executor的核数和内存。 例如设置如下: set hive.execution.engine=spark;
rtifacts信息。 在IDEA主页面,选择“File > Project Structures...”进入“Project Structure”页面。 在“Project Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。 图1
修复Manager nodeagent 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份$NODE_AGENT_HOME/bin/nodeagent_ctl.sh文件。 cp $NODE_AGE
Defaults > Project Structure”。 图3 Configure 在弹出的“Project Structure for New Projects”页面中,选择“SDKs”,单击加号添加JDK。 图4 Project Structure for New Projects 在弹出的“Select