检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Hue WebUI使用SparkSql编辑器 操作场景 用户需要使用图形化界面在集群中执行SparkSql语句时，可以通过Hue完成任务。 配置Spark2x 使用SparkSql编辑器之前需要先修改Spark2x配置。 进入Spark2x的全部配置页面，具体操作请参考修改集群服务配置参数
使用Oozie客户端提交作业 Oozie客户端配置说明 使用Oozie客户端提交Hive任务 使用Oozie客户端提交Spark2x任务 使用Oozie客户端提交Loader任务 使用Oozie客户端提交DistCp任务 使用Oozie客户端提交其它任务 父主题： 使用Oozie
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。
Capacity调度器模式下清除租户非关联队列 操作场景 在Yarn Capacity Scheduler模式下，删除租户的时候，只是把租户队列的容量设置为0，并且把状态设为“STOPPED”，但是队列在Yarn的服务里面仍然残留。由于Yarn的机制，无法动态删除队列，管理员可以执行命令手动清除残留的队列
【HDFS WebUI】使用IE浏览器访问HDFS WebUI界面失败 用户问题 通过IE浏览器访问HDFS的WebUI界面，偶尔出现访问失败情况。 问题现象 访问页面失败，浏览器无法显示此页，如下图所示： 原因分析 部分低版本IE浏览器处理SSL握手有问题导致访问失败。 处理步骤
执行Spark任务报内存不足告警如何处理？ 问题现象 执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数，限制executor的核数和内存。 例如设置如下： set hive.execution.engine
配置Hadoop数据传输加密 设置安全通道加密 默认情况下，组件间的通道是不加密的。您可以配置如下参数，设置安全通道是加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 服务 > 服务名 > 配置”，展开“全部配置”页签。在搜索框中输入参数名称
Kafka相关特性说明 Kafka Idempotent特性 特性说明：Kafka从0.11.0.0版本引入了创建幂等性Producer的功能，开启此特性后，Producer自动升级成幂等性Producer，当Producer发送了相同字段值的消息后，Broker会自动感知消息是否重复
配置Region Transition恢复线程 操作场景 在故障环境中，由于诸如Region服务器响应慢，网络不稳定，ZooKeeper节点版本不匹配等各种原因，有可能导致Region长时间处于Transition下。当Region处于Transition下，由于一些Region不能对外提供服务
ALM-13007 ZooKeeper客户端可用连接数不足 告警解释 系统每60秒周期性检测ZooKeeper客户端连接到ZooKeeper服务器上的活动进程数，当检测到连接数目超过阈值时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 13007 次要 是 告警参数 参数名称
Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常 问题 在omm用户（非root用户）下，通过spark-submit提交yarn-client模式的任务，会出现FileNotFoundException
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL（任意节点），这个URL将是客户端提交流程任务的目标地址。 URL格式为：https://Oozie
Hive服务启动失败 Hive服务启动失败最常见的原因是metastore实例无法连接上DBservice，可以查看metastore日志中具体的错误信息。 可能原因 DBservice没有初始化好Hive的元数据库hivemeta。 DBservice的浮动IP配置有误，导致metastore
重启Hive服务失败 用户问题 修改Hive服务配置后，保存配置失败，Manager页面Hive服务的配置状态为配置失败。 问题现象 用户A在MRS节点后台上打开了Hive相关配置文件且未关闭，此时用户B在MRS Manager页面的“服务管理”中修改Hive配置项，保存配置并重启
修改OMS服务配置 根据用户环境的安全要求，管理员可以在FusionInsight Manager修改OMS中Kerberos与LDAP配置。 本章节仅适用于MRS 3.x及以后版本。 修改OMS服务配置对系统的影响 修改OMS的服务配置参数后，需要重启对应的OMS模块，此时FusionInsight
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。
Hue WebUI中Oozie编辑器的时区设置问题 问题 在Hue设置Oozie工作流调度器的时区时，部分时区设置会导致任务提交失败。 回答 部分时区存在适配问题，建议时区选择“Asia/Shanghai”，如图1所示。 图1 时区选择 支持的时区可以参考Oozie WebUI页面
MapReduce开源增强特性 MapReduce开源增强特性：JobHistoryServer HA特性 JobHistoryServer（JHS）是用于查看MapReduce历史任务信息的服务器，当前开源JHS只支持单实例服务。JobHistoryServer HA能够解决JHS
ALM-45635 FlinkServer作业失败 适用于MRS 3.1.2及之后版本。 告警解释 系统每10秒为周期检查FlinkServer作业是否执行失败，如果失败则产生告警。作业重新启动成功，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45635 重要 是 告警参数
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。具体报错如下： subprocess exited with status 139 回答 该python程序既使用了libcrypto.so
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
