检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
完整代码参见com.huawei.bigdata.flink.examples.WriteIntoHudi和com.huawei.bigdata.flink.examples.ReadFromHudi。
操作步骤 参数入口： HBase角色相关的JVM参数需要配置在安装有HBase服务的节点的“${BIGDATA_HOME}/FusionInsight_HD_*/install/FusionInsight-HBase-2.2.3/hbase/conf/”目录下的“hbase-env.sh
执行cd /var/log/Bigdata/kudu/命令，进入到“/var/log/Bigdata/kudu/”目录，即可查看Kudu日志信息。 父主题： 组件配置类
bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server <Kafka集群IP:21007> --command-config
bin/kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> bin/kafka-topics.sh --list --bootstrap-server <Kafka集群IP:21007> --command-config
执行cd /var/log/Bigdata/hbase/命令，进入到“/var/log/Bigdata/hbase/”目录，即可查看HBase日志信息。 父主题： 组件配置类
完整代码参见com.huawei.bigdata.flink.examples.WriteHBase和com.huawei.bigdata.flink.examples.ReadHBase。
原因分析 在NameNode运行日志（/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-XXX.log）中搜索“WARN”，可以看到有大量时间在垃圾回收，如下例中耗时较长63s。
source /opt/Bigdata/client/bigdata_env 若集群开启Kerberos认证，请执行如下步骤认证用户。若集群未开启Kerberos认证请跳过该步骤。 kinit 业务用户 执行如下命令登录impala客户端。
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本，如何让spark2x支持其正常运行。
以root用户登录1记录的节点，在所有节点都执行以下命令，在“/usr/bin/”目录下添加“python3”的软连接。 cd /usr/bin ln -s python3 python 重新启动HetuEngine计算实例。 父主题： HetuEngine故障排除
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包（例如自定义udf包）区分x86和TaiShan版本，如何让Spark2x支持其正常运行。
MRS集群节点创建成功后，节点的非操作系统磁盘会挂载至“/srv/BigData/dataN”目录，例如节点有4块数据盘，则磁盘挂载目录为“/srv/BigData/data1”、“/srv/BigData/data2”、“/srv/BigData/data3”、“/srv/BigData
使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化，通过近似去重提升十倍查询性能，如果对查询允许有误差，可以使用uniqCombined替代，否则还继续使用distinct语法。
source bigdata_env 执行以下命令，进行用户认证。（普通集群跳过此步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令，获取consumer offset metric信息。
完整代码参见com.huawei.bigdata.flink.examples.WriteHBase和com.huawei.bigdata.flink.examples.ReadHBase。
cp $NODE_AGENT_HOME/bin/nodeagent_ctl.sh /tmp 执行命令vi $NODE_AGENT_HOME/bin/nodeagent_ctl.sh，找到“JVM_ARGS=”所在行，在该行的下一行添加一行新内容： JVM_ARGS="$JVM_ARGS
完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink.examples.ReadFromKafka //producer代码 object WriteIntoKafka {
原因分析 查看/var/log/Bigdata/dbservice/DB/gaussdb.log日志没有内容。 查看/var/log/Bigdata/dbservice/scriptlog/preStartDBService.log日志，发现如下信息，判断为配置信息丢失。
完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink.examples.ReadFromKafka //producer代码 public class WriteIntoKafka
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
