检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询MRS集群管理员。执行如下命令: 安全模式: cd 客户端安装目录 source bigdata_env kinit hdfs 普通模式: su - omm cd 客户端安装目录 source bigdata_env
致系统性能降低。扩容失败后,磁盘仍然过于拥挤,可能会继续影响系统性能。 可能原因 当前系统未安装growpart扩容工具。 系统执行磁盘分区扩容命令失败。 处理步骤 检查当前系统是否安装growpart扩容工具。 登录FusionInsight Manager页面,选择“运维 >
使用Flume Flume向Spark Streaming提交作业后报类找不到错误 Flume客户端安装失败 Flume客户端无法连接服务端 Flume数据写入组件失败 Flume服务端进程故障 Flume数据采集慢 Flume启动失败
Sqoop任务运行成功,但HDFS中的CSV文件无内容。 原因分析 由于jar包冲突或者缺少相关jar包导致。 处理步骤 进入Sqoop的安装目录下查找文件。 进入Sqoop节点的“/opt/Bigdata/MRS_1.9.2/install/FusionInsight-Sqoop-1
Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline
Flink常见参数说明 表1 Flink常见参数说明 参数名称 参数描述 建议值 说明 -c 指定主类名。 根据实际填写 必填 -yjm JobManager进程内存,默认值:2GB。 根据实际填写 选填 -ytm TaskManager进程内存,默认值:4GB。 根据实际填写 选填
Ranger常见问题 安装集群过程中,Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户
录、自动删除文件,以便充分利用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性增强。Hue自身主备部署。Hue与HDFS、Oozie、Hive、Yarn等对接时,支持Failover或负载均衡工作模式。 父主题: Hue
目录),“/var/log/Bigdata/dbservice/scriptlog/gaussdbinstall.log”(gaussDB安装日志),“/var/log/gaussdbuninstall.log”(gaussDB卸载日志)。 HA:“/var/log/Bigdat
brokers: 0. 原因分析 由特殊字符导致获取的ZooKeeper地址变量错误。 处理步骤 登录任意一个Master节点。 执行cat 客户端安装目录/Kafka/kafka/config/server.properties |grep '^zookeeper.connect ='命
升级Python后无法登录Manager页面 修改集群域名后无法登录Manager页面 登录Manager界面后页面空白无内容 集群节点内安装了原生Kerberos导致登录集群失败 macOS使用浏览器访问MRS Manager Manager界面登录用户被锁如何解锁 Manager页面加载卡顿
查看“/proc/sys/net/ipv4/ip_local_port_range”显示为“9000 65500”,临时端口范围与MRS产品端口范围重叠,因为安装时未进行preinstall操作。 解决办法 执行kill -9 DFSZkFailoverController的pid, 使得其重启后绑
周边生态对接类 MRS是否支持对DLI服务的业务表进行读写操作? OBS是否支持ListObjectsV2协议? MRS集群内的节点中可以部署爬虫服务吗? MRS服务是否支持安全删除的能力? 如何使用PySpark连接MRS Spark? HBase同步数据到CSS为什么没有映射字段?
检查用户执行命令./bin/spark-submit --class cn.interf.Test --master yarn-client 客户端安装目录/Spark/spark1-1.0-SNAPSHOT.jar;,排查是否引入了非法字符。 如果是,修改非法字符,重新执行命令。 重新执
目录),“/var/log/Bigdata/dbservice/scriptlog/gaussdbinstall.log”(gaussDB安装日志),“/var/log/gaussdbuninstall.log”(gaussDB卸载日志)。 HA:“/var/log/Bigdat
segment文件损坏无法恢复。 进入客户端节点,执行如下命令,查看HDFS对应表的tablestatus文件,找到最近的tablestatus版本号。 cd 客户端安装路径 source bigdata_env source Spark/component_env kinit 组件业务用户 (普通集群无需执行kinit命令)
rget下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。 在Linux上进入客户端安装目录,如“/opt/client/Flink/flink/conf”作为作为运行目录,将1中生成的“target”目录下包名中含有“fli
servers Kafka的Broker实例业务IP和端口。 192.168.12.25:21005 specific_jars “客户端安装目录/Flink/flink/lib/flink-connector-kafka-*.jar”包路径,建议写全路径。 说明: 当作业需要以
未安装Hadoop的集群,在添加Hadoop后,需要刷新管理控制台界面并重新进行IAM用户同步后,才能在作业管理页签中成功提交作业。 添加Spark2x/Spark组件后,如需在Hue WebUI操作SparkSQL,请先重启Hue服务。 在“拓扑调整”页面勾选服务部署的节点,部署方案可参考表2。
提供内存级I/O 吞吐率,同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理,提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开发,具体的API接口内容请参考https://docs.alluxio