检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DownLoads > Connector/J”下载对应版本的驱动包。 MySQL驱动版本建议为5.1.x及之后版本。 将下载的MySQL驱动包上传至所有FE和BE节点的相同目录下,例如“/home/omm”,并修改驱动包的属组为omm:wheel。 如果FE和BE共节点部署,还需要
创建Topic。 用户使用Linux命令行创建topic,执行命令前需要使用kinit命令进行人机认证,如kinit flinkuser。 flinkuser需要用户自己创建,并拥有创建Kafka的topic权限。 创建topic的命令格式:{zkQuorum}表示ZooKe
使用CarbonData前需先创建表,才可在其中加载数据和查询数据。可通过Create Table命令来创建表。该命令支持使用自定义列创建表。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。 命令示例: CREATE TABLE IF NOT EXISTS productdb.productSalesTable
cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1.0.jar,并将jar包放在客户端“$SPARK_HOME”目录下,以下命令均在“$SPARK_HOME”目录执行,Java接口对应的
cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1.0.jar,并将jar包放在客户端“$SPARK_HOME”目录下,以下命令均在“$SPARK_HOME”目录执行,Java接口对应的
统计信息都为空。 回答 可以通过以下两种方式生成: 手动通过analyze命令,触发统计信息收集。如果没有插入数据,analyze命令执行完之后,再通过desc formatted table_name命令查询totalsize等于0。 配置spark.sql.statistics
下载客户端程序,请参考下载MRS客户端。 登录存放下载的客户端的节点,再安装客户端。 执行以下命令解压客户端包: cd /opt tar -xvf /opt/MRS_Services_Client.tar 执行以下命令校验安装文件包: sha256sum -c /opt/MRS_Services_ClientConfig
Core节点出现df显示的容量和du显示的容量不一致: 分别使用命令df -h 和命令du -sh /srv/BigData/hadoop/data1/查询得到的/srv/BigData/hadoop/data1/目录磁盘占用量相差较大(大于10 GB)。 原因分析 使用命令lsof |grep delete
Records,则INSERT INTO命令会失败。 源列上的aggregartion函数的结果超过目标列的最大范围,则INSERT INTO命令会失败。 解决方法: 在进行插入操作时,可在对应的列上使用cast函数。 示例: 使用DESCRIBE命令查询目标表和源表。 DESCRIBE
行hdfs命令后提示“-bash: hdfs: command not found”。 原因分析 用户登录Master节点执行命令之前,未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。 执行source 客户端安装目录/bigdata_env命令,设置环境变量。
如何查看Kudu日志? 登录集群的Master节点。 执行su - omm命令,切换到omm用户。 执行cd /var/log/Bigdata/kudu/命令,进入到“/var/log/Bigdata/kudu/”目录,即可查看Kudu日志信息。 父主题: 组件配置类
例如,EulerOS环境下执行systemctl status firewalld.service命令。 关闭防火墙服务。 例如,EulerOS环境下执行systemctl stop firewalld.service命令。 父主题: 集群管理类
创建Topic。 用户使用Linux命令行创建topic,执行命令前需要使用kinit命令进行人机认证,如kinit flinkuser。 flinkuser需要用户自己创建,并拥有创建Kafka的topic权限。 具体操作请参考准备开发用户章节。 创建topic的命令格式:{zkQuorum
的数据。 可以在hbase shell中执行如下命令查看相关命令如何使用: help 'cmdName' 例如,执行help 'clear_slowlog_responses'查看clear_slowlog_responses命令的使用方法: 查看请求信息 由于get_slowl
Records,则INSERT INTO命令会失败。 源列上的aggregartion函数的结果超过目标列的最大范围,则INSERT INTO命令会失败。 解决方法: 在进行插入操作时,可在对应的列上使用cast函数。 示例: 使用DESCRIBE命令查询目标表和源表。 DESCRIBE
执行mvn package生成jar包,在工程目录target目录下获取,比如:hbase-examples-mrs-2.0.jar,将获取的包上传到/opt/client/HBase/hbase/lib目录下。 执行Jar包。 在Linux客户端下执行Jar包的时候,需要用安装用户切换到客户端目录:
SparkStreaming任务运行一段时间后开始报TOKEN过期问题。 原因分析 问题1:Spark提交任务默认不会加载kafka的相关包,所以需要在启动命令中增加--jars来指定对应kafka版本的jar包 问题2:连接Kafka无法使用Spark的认证信息,需要将相关的认证使用JVM的参数设置进去。 问题3
执行hbase zkcli命令进入ZooKeeper命令行。 在ZooKeeper命令行中执行ls /hbase/table,查看新建的表名是否存在。 是,结束。 否,执行ls /hbase/table-lock查看新建的表名是否存在,如果存在新建的表名时使用delete命令(delete
-e执行多条语句报错如何处理? MRS 3.x版本Hive使用beeline执行beeline -e "use default;show tables;"命令报错: Error while compiling statement: FAILED: ParseException line 1:11
如何查看HBase日志? 使用root用户登录集群的Master节点。 执行su - omm命令,切换到omm用户。 执行cd /var/log/Bigdata/hbase/命令,进入到“/var/log/Bigdata/hbase/”目录,即可查看HBase日志信息。 父主题: