检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce常见问题 ResourceManager进行主备切换后,任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级 MapRedu
httpdProxy.enable”未开启。 修改配置项查看日志处理步骤 在客户端修改spark-defaults.conf的配置项:spark.httpdProxy.enable = true,该配置项取值默认为false。 登录Manager界面,选择“集群 > 服务 > Spark2x >
er本身无影响。 可能原因 Flink重启次数超阈值的原因可在具体日志中查看。 处理步骤 使用具有FlinkServer管理操作权限的用户登录Manager。 选择“集群 > 服务 > Yarn”,单击“ResourceManager WebUI”后的链接进入Yarn页面。 根据
查看进程是否处于D、Z、T状态 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。 是,处理完毕。 否,查看该告警详细信息,记录上报告警的主机IP地址。执行2。 以root用户登录产生告警的主机,执行su
作业最终状态码。 0:未完成 1:执行错误,终止执行 2:执行完成并且成功 3:已取消 hive_script_path String Hive脚本地址。 create_by String 创建作业的用户ID。 finished_step Integer 当前已完成的步骤数。 job_main_id
允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户,可通过Java API、HBase Shell或者Web UI访问服务端,对HBase的表进行读写操作。本文中的HBase客户端特指HBase client的安装包,可参考HBase对外接口介绍。
rberos,否则不用配置。 上述参数可通过登录任一Master节点,从hbase客户端配置(“/opt/client/HBase/hbase/conf”)中获取。以获取 "hbase.zookeeper.quorum"的值为例,可登录任一Master节点执行如下命令获取: grep
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(
Certificate”,以omm用户登录主OMS管理节点,执行2。 管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 告警附加信息中显示“HA root Certificate”,查看“定位信息”获取告警所在节点主机名,以omm用户登录该主机,执行3。
查看HBase的HMaster日志,报如下错误: 检查HDFS上HBase的路径发现acl表路径丢失。 解决办法 停止HBase组件。 在HBase客户端使用hbase用户登录认证,执行如下命令。 例如: hadoop03:~ # source /opt/client/bigdata_env hadoop03:~
ecord key is empty 可能原因 Hudi表主键参数“table.primarykey.mapping”未配置。 处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDLService
参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,MapReduce服务还需参考本章节新增自定义配置。 MapReduce对接OBS 登录MRS管理控制台,单击集群名称进入集群详情页面。 选择“组件管理 > Mapreduce”,进入Mapreduce服务“全部配置”页面,在
RPC时长越长表示性能负载越高,网络请求处理越慢,可能会导致服务阻塞。 可能原因 网络存在时延 存在大SQL任务并发过高 处理步骤 以root用户登录故障节点所在主机,执行ping Doris所有节点的IP地址命令查看对端主机是否可以ping通。 是,执行3。 否,执行2。 联系网络管理员恢复网络。
检查omm用户同时打开的线程最大数的配置是否合理。 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,在定位信息中查看发生该告警的主机名称。单击主机名称,查看对应的IP地址。 以omm用户登录告警所在主机IP节点。 执行以下命令,获取
手动重启KrbServer服务。 等待几分钟。检查“Hue服务不可用”告警是否恢复。 是,处理完毕。 否,执行4。 检查DBService是否正常 登录FusionInsight Manager界面,选择“集群 > 待操作集群的名称 > 服务”。 在服务列表中查看DBService服务运行状态是否为“良好”。
com/p/snappy/。 本章节适用于MRS 3.x及后续版本。 配置描述 为了使LZC压缩生效,需要在客户端的配置文件“core-site.xml”中(例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”)配置如下参数。 表1 参数描述 参数 描述 默认值
除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程 在“New Project”页面选择“Java”,然后配
除了导入Spark样例工程,您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具,选择“Create New Project”。 图1 创建工程 在“New Project”页面,选择“Scala”开发环境,并选择“Scala
常对外提供服务,FlinkServer提交Flink作业功能无法正常使用。 可能原因 用户HA证书文件已过期。 处理步骤 查看告警信息。 登录FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-45655 Flink HA证书文件已过期 >
效。安全区的管理员只能在其作为管理员的安全区中设置策略。 添加安全区 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 单击“Security Zone”,在区域列表页面中单击,添加安全区。 表1 安全区配置参数