正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备一个SSH客户端用于创建SSH隧道,例如使用开源SSH客户端Git。请下载并安装。 已创建好集群,并准备pem格式的密钥文件或创建集群时的密码。 用户本地环境可以访问互联网。 登录MRS管理控制台,选择“现有集群”。 单击指定名称的MRS集群。 记录集群的“安全组” 。 为集群Master节点的安全组添加一条
为什么spark-beeline运行失败报“Failed to create ThriftService instance”的错误 问题 为什么spark-beeline运行失败报“Failed to create ThriftService instance”的错误? Beeline日志如下所示:
如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 问题 创建一个新的Flink用户,提交任务,ZooKeeper目录无权限导致提交Flink任务失败,日志中报如下错误: NoAuth for /flink_base/flink/application_1499222480199_0013
为什么spark-beeline运行失败报“Failed to create ThriftService instance”的错误 问题 为什么spark-beeline运行失败报“Failed to create ThriftService instance”的错误? Beeline日志如下所示:
SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func: (T) => Unit): Unit 在数据集的每一个元素上,运行函数func。 countByValue()(implicit
SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func: (T) => Unit): Unit 在数据集的每一个元素上,运行函数func。 countByValue()(implicit
单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobHistory进程的堆内存统计”。单击“确定”,查看堆内存使用情况。 查看JobHistory进程使用的堆内存是否已达到JobHistory进程设定的最大堆内存的90%。
单击“组件管理 > Spark > 实例 > JDBCServer(对应上报告警实例IP地址) > 定制 >JDBCServer进程的堆内存统计”。单击“确定”,查看堆内存使用情况。 查看JDBCServer进程的堆内存是否已达到JDBCServer进程设定的最大堆内存的90%。 是,执行1
回收(GC)时间”。查看ResourceManager每分钟的垃圾回收时间统计情况。 图1 定制ResourceManager垃圾回收(GC)时间 查看ResourceManager每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行7。 在FusionInsight
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。具体报错如下: subprocess exited with status 139 回答 该python程序既使用了libcrypto
SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func: (T) => Unit): Unit 在数据集的每一个元素上,运行函数func。 countByValue()(implicit
SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func: (T) => Unit): Unit 在数据集的每一个元素上,运行函数func。 countByValue()(implicit
单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobHistory进程的非堆内存统计”。单击“确定”,查看非堆内存使用情况。 查看JobHistory进程使用的非堆内存是否已达到JobHistory进程设定的最大非堆内存的90%。
Spark Streaming任务提交问题 问题现象 连接Kafka报类找不到。 连接带Kerberos的Kafka,报认证错误。 SparkStreaming任务运行一段时间后开始报TOKEN过期问题。 原因分析 问题1:Spark提交任务默认不会加载kafka的相关包,所以需
如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 问题 创建一个新的Flink用户,提交任务,ZooKeeper目录无权限导致提交Flink任务失败,日志中报如下错误: NoAuth for /flink_base/flink/application_1499222480199_0013
为什么新创建的Flink用户提交任务失败,报ZooKeeper文件目录权限不足? 问题 创建一个新的Flink用户,提交任务,ZooKeeper目录无权限导致提交Flink任务失败,日志中报如下错误: NoAuth for /flink/application_1499222480199_0013
使用Phoenix Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3
单击“组件管理 > Spark > 实例 > JDBCServer(对应上报告警实例IP地址) > 定制 >JDBCServer进程的非堆内存统计”。单击“确定”,查看非堆内存使用情况。 查看JDBCServer进程的非堆内存是否已达到JDBCServer进程设定的最大非堆内存的90%。
LD_PRELOAD参数提前加载。 x86平台上参数值设置为:{客户端安装目录}/Spark/spark/native/libch.so,{客户端安装目录}/JDK/jdk1.8.0_372/jre/lib/amd64/libjsig.so arm平台上参数值设置为:{客户端安装目录}/
使用Phoenix Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3