检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”,将“log1.txt”的内容复制保存到“input_data1.txt”。 在
对于“dependency_python3.x”文件夹下同时存在aarch64与x86_64版本的“egg”文件,需要根据操作系统选取其中一个版本安装即可,使用uname -p命令确认当前操作系统架构。 MRS 3.2.0及之后版本,使用对应的easy_install命令,安装dependency_python3
Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”,将“log1.txt”的内容复制保存到“input_data1.txt”。 在
zkRegisterServerHandler, 2))//添加NettySink算子发送数据 env.execute() } } 第一个订阅者 package com.huawei.bigdata.flink.examples import org.apache.flink
对于“dependency_python3.x”文件夹下同时存在aarch64与x86_64版本的“egg”文件,需要根据操作系统选取其中一个版本安装即可,使用uname -p命令确认当前操作系统架构。 MRS 3.2.0及之后版本,使用对应的easy_install命令,安装dependency_python3
Opengauss数据库需要开启预写日志功能,操作步骤请参考Opengauss数据库开启预写日志功能。 在FusionInsight Manager中创建一个人机用户,例如“cdluser”,加入用户组cdladmin、hadoop、kafka、supergroup,主组选择“cdladmin”
168.0.192、192.168.0.168、192.168.0.23 , 则最小IP为192.168.0.23。 脚本支持一次性更新一个或多个服务客户端。 以omm用户登录最小IP节点,执行更新服务客户端的脚本。 cd ${BIGDATA_HOME}/FusionInsig
slaveSecurityGroupsId String 参数解释: 非Master节点的安全组id,当前一个MRS集群只会使用一个安全组,所以该字段已经废弃,从兼容性考虑,该字段会返回和securityGroupsId同样的值。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及
zkRegisterServerHandler, 2));//通过NettySink发送出去。 env.execute(); } } 第一个订阅者 package com.huawei.bigdata.flink.examples; import org.apache.flink
zkRegisterServerHandler, 2));//通过NettySink发送出去。 env.execute(); } } 第一个订阅者 package com.huawei.bigdata.flink.examples; import org.apache.flink
zkRegisterServerHandler, 2));//通过NettySink发送出去。 env.execute(); } } 第一个订阅者 package com.huawei.bigdata.flink.examples; import org.apache.flink
slaveSecurityGroupsId String 参数解释: 非Master节点的安全组id,当前一个MRS集群只会使用一个安全组,所以该字段已经废弃,从兼容性考虑,该字段会返回和securityGroupsId同样的值。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤: 下载样例工程的Maven工程源码和配置文件,请参见样例工程获取地址。 配置华为镜像站中SDK的Maven镜像仓库,请参见配置华为开源镜像仓。 根据用户自身需求,构建完整的Maven工程并进行编译开发。
zkRegisterServerHandler, 2))//添加NettySink算子发送数据 env.execute() } } 第一个订阅者 下面代码片段仅为演示,完整代码参见FlinkPipelineScalaExample样例工程下的com.huawei.bigdata
主机PID使用率超过阈值 ALM-12028 主机D状态和Z状态进程数超过阈值 ALM-12033 慢盘故障 ALM-12034 周期备份任务失败 ALM-12035 恢复任务失败后数据状态未知 ALM-12037 NTP服务器异常 ALM-12038 监控指标转储失败 ALM-12039 OMS数据库主备不同步
TIMESTAMP DateTime DECIMAL Decimal 前提条件 集群中已安装ClickHouse、HDFS、Yarn、Flink和Kafka等服务。 客户端已安装,例如安装路径为:/opt/client。 创建作业步骤 使用root用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
以客户端安装用户登录安装客户端的节点,复制HBase的“/opt/client/HBase/hbase/conf/”目录下的所有配置文件至部署FlinkServer的所有节点的一个空目录,如“/tmp/client/HBase/hbase/conf/”。 修改FlinkServer节点上面配置文件目录及其上层目录属主为omm。
请确保Jar包和配置文件的用户权限与Flink客户端一致,例如都是omm用户,且权限为755。 MRS 3.2.1及以后版本使用-tm指定taskmanager内存不能小于4096MB。 运行DataStream(Scala和Java)样例程序。 在终端另开一个窗口,进入Flink客户端目录,调用bin/flink
ThirdKafka数据库的Topic需要能被MRS集群消费,操作步骤请参考ThirdPartyKafka前置准备。 在FusionInsight Manager中创建一个人机用户,例如“cdluser”,加入用户组cdladmin、hadoop、kafka、supergroup,主组选择“cdladmin”
SQL中函数存在嵌套使用,或者是使用的函数会发生异常导致重写失败的函数 物化视图创建语句改写不支持二段式表名,支持一段式和三段式表名。 如支持改写表名为“hive.mvschema.t1”和“t1”,不支持改写表名为“mvschema.t1”。 物化视图改写场景示例 物化视图的改写的核心原理是逻