检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。 处理步骤 修复漏洞前请确认是否开启了主机安全服务(Host Security Service,简称HSS),如果已开启,需要先暂时关闭HSS服务对MRS集群的监测,漏洞修复完成后重新开启HSS服务。 登录MRS服务控制台。
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
libffi-devel 编译成功后,执行如下命令,下载解压Python3.x的tgz包。 wget https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgz tar -zxvf Python-3.6.7.tgz cd Python-3
wer? 回答 登录Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例”,单击相应的quorumpeer实例名称,进入对应实例的详情页面,即可查看到该实例的“服务器状态”。 父主题: ZooKeeper常见问题
wer? 回答 登录Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例”,单击相应的quorumpeer实例名称,进入对应实例的详情页面,即可查看到该实例的“服务器状态”。 父主题: ZooKeeper常见问题
如何使用PySpark连接MRS Spark? 问:如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群? 答:将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase
6版本(CentOS 7.6) 鲲鹏计算(ARM) Euler EulerOS 2.8 CentOS CentOS-7.6版本(CentOS 7.6) 同时为弹性云服务分配足够的磁盘空间,例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
--secure 输入用户密码 执行quit;命令,退出ClickHouse服务端连接。 相关参数使用说明如表1: 表1 clickhouse client命令行参数说明 参数名 参数说明 --host 服务端的host名称,默认是localhost。您可以选择使用ClickHouse实例所在节点主机名或者IP地址。
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
zip -qDj spark-archive-2x-x86.zip x86/* zip -qDj spark-archive-2x-arm.zip arm/* 执行以下命令查看hdfs上的spark2x依赖的jar包: hdfs dfs -ls /user/spark2x/jars/8
zip -qDj spark-archive-2x-x86.zip x86/* zip -qDj spark-archive-2x-arm.zip arm/* 执行以下命令查看hdfs上的spark2x依赖的jar包: hdfs dfs -ls /user/spark2x/jars/8
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
使用Jupyter Notebook对接MRS Spark Jupyter对接方案概述 在MRS服务中可以配合Jupyter Notebook使用PySpark,能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 Impala服务异常,无法通过FusionInsight Manager对Impala进行集群操作,无法使用Impala服务功能。 可能原因 Hive服务异常 KrbServer服务异常
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步,时间相差超过15min,导致集群访问OBS时鉴权失败,上报403异常。 处理步骤 以root用户登录集群主Master节点。
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试? 回答 以调试SparkPi程序为例,演示如何进行IDEA的远程调试。 打开工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”
产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 ClickHouse服务异常,无法通过FusionInsight Manager对ClickHouse进行集群操作,无法使用ClickHouse服务功能。 可能原因
Presto以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 1.9.0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Mast