检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
在Linux环境中调测Kafka应用 操作场景 在程序代码完成开发后,可以在Linux环境中运行IoTDB-Kafka样例程序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
若IAM用户已同步,可在组件管理观察到存在未启动角色。 若未同步,可在集群Manager页面观察到存在未启动角色。 处理步骤 场景一:添加节点任务在安装组件前失败 如果MRS集群为按需购买集群: 登录MRS服务控制台。 选择 “现有集群” ,单击集群名称进入集群详情页面。 单击页面上面的按
Hue故障排除 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 集群未安装Hive服务时Hue原生页面无法正常显示 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue
p。 操作步骤 下载并安装Hudi客户端,具体请参考安装客户端(3.x及之后版本)章节。 目前Hudi集成在Spark2x中,用户从Manager页面下载Spark2x客户端即可,例如客户端安装目录为:“/opt/client”。 使用root登录客户端安装节点,执行如下命令: cd
致系统性能降低。扩容失败后,磁盘仍然过于拥挤,可能会继续影响系统性能。 可能原因 当前系统未安装growpart扩容工具。 系统执行磁盘分区扩容命令失败。 处理步骤 检查当前系统是否安装growpart扩容工具。 登录FusionInsight Manager页面,选择“运维 >
Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline
使用Flume Flume向Spark Streaming提交作业后报类找不到错误 Flume客户端安装失败 Flume客户端无法连接服务端 Flume数据写入组件失败 Flume服务端进程故障 Flume数据采集慢 Flume启动失败
Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline
执行Yarn客户端命令查询历史作业报错,进程被终止。具体错误如下: 原因分析 客户端分配内存不足,导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export GC_OP
Spark2x样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程:
Sqoop任务运行成功,但HDFS中的CSV文件无内容。 原因分析 由于jar包冲突或者缺少相关jar包导致。 处理步骤 进入Sqoop的安装目录下查找文件。 进入Sqoop节点的“/opt/Bigdata/MRS_1.9.2/install/FusionInsight-Sqoop-1
为什么主NameNode重启后系统出现双备现象 问题 为什么主NameNode重启后系统出现双备现象? 出现该问题时,查看ZooKeeper和ZKFC的日志,发现ZooKeeper服务端与客户端(ZKFC)通信时所使用的session不一致,ZooKeeper服务端的sessio
Ranger常见问题 安装集群过程中Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户
d}/hosts 删除集群 DELETE /v1.1/{project_id}/clusters/{cluster_id} 弹性伸缩接口 配置弹性伸缩规则 POST /v1.1/{project_id}/autoscaling-policy/{cluster_id} 标签管理接口
为什么主NameNode重启后系统出现双备现象 问题 为什么主NameNode重启后系统出现双备现象? 出现该问题时,查看ZooKeeper和ZKFC的日志,发现ZooKeeper服务端与客户端(ZKFC)通信时所使用的session不一致,ZooKeeper服务端的sessio
1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env 操作步骤
周边生态对接类 MRS是否支持对DLI服务的业务表进行读写操作? OBS是否支持ListObjectsV2协议? MRS集群内的节点中可以部署爬虫服务吗? MRS服务是否支持安全删除的能力? 如何使用PySpark连接MRS Spark? HBase同步数据到CSS为什么没有映射字段?
检查用户执行命令./bin/spark-submit --class cn.interf.Test --master yarn-client 客户端安装目录/Spark/spark1-1.0-SNAPSHOT.jar;,排查是否引入了非法字符。 如果是,修改非法字符,重新执行命令。 重新执
录、自动删除文件,以便充分利用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性增强。Hue自身主备部署。Hue与HDFS、Oozie、Hive、Yarn等对接时,支持Failover或负载均衡工作模式。 父主题: Hue