检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase启动失败,RegionServer日志中提示“FileNotFoundException” HBase启动后原生页面显示RegionServer个数多于实际个数 RegionServer实例异常,处于Restoring状态 新安装的集群HBase启动失败 acl表目录丢失导致HBase启动失败 集群上下电之后HBase启动失败
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数,详见代码。 Properties props = initProperties(); consumer = new
本地(或位于HDFS上)的TsFile文件。 用户可以将TsFile文件写入到HDFS上,进而满足Hadoop、Flink等数据处理任务的访问。 对于写入到HDFS或者本地的TsFile文件,可以利用TsFile-Hadoop或TsFile-Flink连接器,允许Hadoop或Flink进行数据处理。
Processor<String, String>() { // ProcessorContext实例,它提供对当前正在处理的记录的元数据的访问 private ProcessorContext context; private KeyValueStore<String
处理步骤 检查Hive默认数据仓库权限情况。 以root用户登录客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令进入HDFS客户端安装目录。 cd 客户端安装目录 source bigdata_env kinit 具有supergroup组权限的用户(普通集群跳过该步骤)
据(需要有Kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。 本地新建文件“input_data1.txt”,将“log1.txt”的内容复制保存到“input_data1.txt”。 在客户端安装节点下创建文件目录:“/home/data
备份MRS集群组件数据 备份Manager数据(MRS 2.x及之前版本) 备份Manager数据(MRS 3.x及之后版本) 备份CDL业务数据 备份ClickHouse元数据 备份ClickHouse业务数据 备份DBService元数据 备份Doris业务数据 备份Flink元数据
构建源端数据源。 构建目标端Elasticsearch数据源(可以在构建数据源的时候,通过setRestClientFactory方法,配置自定义实现的UserRestClientFactory)。 构建Flink执行环境。 父主题: Flink对接云搜索服务(CSS)样例程序
开发。可使用IDEA工具。 准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 根据场景开发工程 提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。
准备开发和运行环境 Hive的应用程序支持使用Java、Python两种语言进行开发。推荐使用Eclipse工具,请根据指导完成不同语言的开发环境配置。 Hive应用开发环境简介 根据场景开发工程 提供了Java、Python两种不同语言的样例工程,还提供了从建表、数据加载到数据查询的样例工程。
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数,详见代码。 Properties props = initProperties(); consumer = new
的数据进行计算。同时在计算完成后,也可以将数据存储到HDFS。 HDFS和Spark的关系 通常,Spark中计算的数据可以来自多个数据源,如Local File、HDFS等。最常用的是HDFS,用户可以一次读取大规模的数据进行并行计算。在计算完成后,也可以将数据存储到HDFS。
命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。当前用户为准备HBase应用开发用户时增加的开发用户。 人机用户:kinit MRS集群用户 例如:kinit hbaseuser 机机用户:kinit -kt 认证凭据路径 MRS集群用户 例如:kinit
1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env 操作步骤
性能调优方式 当前版本Hudi写入操作主推Spark,因此Hudi的调优和Spark比较类似,可参考Spark Core性能调优。 推荐资源配置 mor表: 由于其本质上是写增量文件,调优可以直接根据hudi的数据大小(dataSize)进行调整。 dataSize如果只有几个G,
consume.mode = INCREMENTAL;,但该参数仅限于增量视图查询,不能用于Hudi表的其他类型查询,和其他表的查询。 恢复配置可设置set hoodie.hudicow.consume.mode = SNAPSHOT;或任意值。 父主题: Hudi读操作
Hudi性能调优 性能调优方式 当前版本Hudi写入操作主推Spark,因此Hudi的调优和Spark比较类似。 推荐资源配置 mor表: 由于其本质上是写增量文件,调优可以直接根据Hudi的数据大小(dataSize)进行调整。 dataSize如果只有几个G,推荐跑单节点运行
DBServer启动失败 问题背景与现象 DBService组件启动失败,重启还是失败,实例状态一直为正在恢复状态。 图1 DBService 的状态 原因分析 查看DBService的日志/var/log/Bigdata/dbservice/DB/gs_ctl-current.log,报如下错误。
已执行打包Storm样例工程应用。 调整IntelliJ IDEA客户端机器时间,和Storm集群时间差不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类,使用remoteSubmit
ooKeeper的组件可能无法正常运行。 可能原因 ZooKeeper实例状态异常。 磁盘容量不足。 网络故障。 ZooKeeper节点上安装了DNS。 处理步骤 检查ZooKeeper服务实例状态。 在MRS集群详情页面,单击“组件管理 > ZooKeeper > quorumpeer”。