检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming Write To Print代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollectionPrint: // 参数解析: // <batchTime
ZooKeeper日志介绍 日志描述 日志存储路径:“/var/log/Bigdata/zookeeper/quorumpeer”(运行日志),“/var/log/Bigdata/audit/zookeeper/quorumpeer”(审计日志) 日志归档规则:ZooKeeper的日志启动了自动压缩归档功能
Hue日志介绍 日志描述 日志路径:Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”(运行日志),“/var/log/Bigdata/audit/hue”(审计日志)。
source /opt/client/bigdata_env 使用Alluxio Shell Alluxio shell包含多种与Alluxio交互的命令行操作。 要查看文件系统操作命令列表。 alluxio fs 使用ls命令列出Alluxio里的文件。
列出所有的作业(包含JobID): bin/flink list 取消作业: bin/flink cancel <JobID> 停止作业(仅流式作业): bin/flink stop <JobID> 取消和停止作业的区别如下: 取消作业:执行“cancel”命令时,指定作业会立即收到
Core节点出现df显示的容量和du显示的容量不一致 问题现象 Core节点出现df显示的容量和du显示的容量不一致: 分别使用命令df -h 和命令du -sh /srv/BigData/hadoop/data1/查询得到的/srv/BigData/hadoop/data1/目录磁盘占用量相差较大
原因分析 登录到集群的Kerberos服务节点,查看“/var/log/Bigdata/kerberos/krb5kdc.log”。 登录到主、备OMS节点,查看“/var/log/Bigdata/okerberos/oms-krb5kdc.log”。
source bigdata_env 执行以下命令,进行用户认证。 kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用kafka-delegation-tokens.sh对Token进行操作。
操作步骤 参数入口: HBase角色相关的JVM参数需要配置在安装有HBase服务的节点的“${BIGDATA_HOME}/FusionInsight_HD_*/install/FusionInsight-HBase-2.2.3/hbase/conf/”目录下的“hbase-env.sh
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群,业务平台主要使用的语言是Python,提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题: PyFlink样例程序
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群,业务平台主要使用的语言是Python,提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题: PyFlink样例程序
代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。
代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。
代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。
代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。
原因分析 查看“/var/log/Bigdata/omm/oms/pms/scriptlog/pms_script.log”,“/var/log/Bigdata/omm/oms/pms/pms.log”日志内容类似如下: 发现日志中有内存溢出的现象,判断是由于PMS内存不足导致Manager
原因分析 集群在周期性的备份中,由于备份产生了软连接,将/srv/BigData/LocalBackup连接到了/opt/Bigdata/LocalBackup,会使用到根目录磁盘空间,因为根目录磁盘空间不足,导致无法写入备份文件,导致集群周期备份失败。
Oozie日志介绍 日志描述 日志路径:Oozie相关日志的默认存储路径为: 运行日志:“/var/log/Bigdata/oozie”。 审计日志:“/var/log/Bigdata/audit/oozie”。
Oozie日志介绍 日志描述 日志路径:Oozie相关日志的默认存储路径为: 运行日志:“/var/log/Bigdata/oozie”。 审计日志:“/var/log/Bigdata/audit/oozie”。
代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。