检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ls /srv/BigData/LocalBackup/default_20190720222358/ -rlth 图1 查看备份文件 原因分析 查看DBService的备份日志/var/log/Bigdata/dbservice/scriptlog/backup.log,其实备份已经成功
Flink Job Pipeline样例程序(Java) 发布Job自定义Source算子产生数据 下面代码片段仅为演示,完整代码参见FlinkPipelineJavaExample样例工程下的com.huawei.bigdata.flink.examples.UserSource
修改所有Hue节点上的以下配置文件: /opt/Bigdata/FusionInsight_Porter_8.
HetuEngine日志介绍 日志描述 日志存储路径: HetuEngine的日志保存路径为“/var/log/Bigdata/hetuengine/”和“/var/log/Bigdata/audit/hetuengine/”。
完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink.examples.ReadFromKafka //producer代码 object WriteIntoKafka {
原因分析 查看/var/log/Bigdata/dbservice/DB/gaussdb.log日志没有内容。 查看/var/log/Bigdata/dbservice/scriptlog/preStartDBService.log日志,发现如下信息,判断为配置信息丢失。
完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink.examples.ReadFromKafka //producer代码 public class WriteIntoKafka
cp $NODE_AGENT_HOME/bin/nodeagent_ctl.sh /tmp 执行命令vi $NODE_AGENT_HOME/bin/nodeagent_ctl.sh,找到“JVM_ARGS=”所在行,在该行的下一行添加一行新内容: JVM_ARGS="$JVM_ARGS
Spark Streaming Write To Print代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollectionPrint: // 参数解析: // <batchTime
cd /opt/FlumeClient/fusioninsight-flume-1.9.0/bin 执行./flume-manage.sh stop force命令,停止FlumeClient。 执行vi ..
执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,输入kadmin/admin用户密码后进入kadmin控制台。
完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink.examples.ReadFromKafka //producer代码 public class WriteIntoKafka
完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink.examples.ReadFromKafka //producer代码 object WriteIntoKafka {
方案架构 租户是MRS大数据平台的核心概念,使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变,更好的适应现代企业多租户应用环境,如图1所示。 图1 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台,用户直接访问并使用全部的资源和服务。
原因分析 登录告警节点,查找日志路径“/var/log/Bigdata/hdfs/nn”下Journalnode实例的startDetail.log日志信息,发现Journalnode实例停止过。
列出所有的作业(包含JobID): bin/flink list 取消作业: bin/flink cancel <JobID> 停止作业(仅流式作业): bin/flink stop <JobID> 取消和停止作业的区别如下: 取消作业:执行“cancel”命令时,指定作业会立即收到
列出所有的作业(包含JobID): bin/flink list 取消作业: bin/flink cancel <JobID> 停止作业(仅流式作业): bin/flink stop <JobID> 取消和停止作业的区别如下: 取消作业:执行“cancel”命令时,指定作业会立即收到
列出所有的作业(包含JobID): bin/flink list 取消作业: bin/flink cancel <JobID> 停止作业(仅流式作业): bin/flink stop <JobID> 取消和停止作业的区别如下: 取消作业:执行“cancel”命令时,指定作业会立即收到
(权限默认为770) 如果被修改请执行以下命令恢复“/opt/Bigdata/tmp”路径权限。 chmod 1770 /opt/Bigdata/tmp 登录主OMS节点,执行以下命令重启OMS。
Hue日志介绍 日志描述 日志路径:Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”(运行日志),“/var/log/Bigdata/audit/hue”(审计日志)。