检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Scala样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取数据，然后把数据经过分析后，找到对应的HBase表记录，再写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
常见jar包冲突处理方式 问题现象 Spark能对接很多的第三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有： 1、报错类找不到：java
地址，可通过登录FusionInsight Manage界面，选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight Manager，选择“集群 > 服务 > IoTDB > 配置 > 全部配置”，搜索参数“IOTDB_SERVER_RPC_PORT”获得。
创建HDFS目录 功能简介 创建目录过程为： 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在，则直接返回。 如果不存在，则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei
ClickHouse日志管理规则 日志路径 ClickHouse相关日志的默认存储路径为：“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouseServer运行相关日志：“/var/log/Bigdata/clickhouse/clickhouseServer/
在本地Windows环境中调测HBase应用 操作场景 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。 需要在
zk.quorum：为访问ZooKeeper quorumpeer的地址，请修改为集群部署有FusionInsight ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码，只需要将以下代码中的“xxx
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器，登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例：Maven工程打包到Linux下运行样例 执行mvn package生成j
Kafka样例工程简介 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程：
使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt，发现能连上Oracle数据库，但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm
使用不同用户执行yarn-session创建Flink集群失败 问题背景与现象 使用Flink过程中，具有两个相同权限用户testuser和bdpuser。 使用用户testuser创建Flink集群正常，但是切换至bdpuser用户创建Fllink集群时，执行yarn-session
HiveServer或者MetaStore实例的健康状态为Concerning 问题现象 HiveServer或者MetaStore实例的健康状态为Concerning。 可能原因 HiveServer或者MetaStore实例在启动的时候发生异常，无法正常启动。如，当修改MetaStore/HiveServer
ClickHouse容量规划设计 为了能够更好的发挥ClickHouse分布式查询能力，在集群规划阶段需要合理设计集群数据分布存储。 当前ClickHouse能力为单机磁盘容量达到80%后会上报告警信息，磁盘容量达90%后集群会处于只读状态。 出现磁盘告警信息后需要考虑是否是容量
HetuEngine应用开发流程介绍 开发流程中各阶段的说明如图1所示： 图1 HetuEngine应用程序开发流程 表1 HetuEngine应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解HetuEngine的基本概念，了解场景需求等。 HetuEngine基本概念
Hive应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Hive应用程序开发流程 表1 Hive应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Hive的基本概念。 常用概念 准备开发和运行环境 Hive的应用程序支持使用Jav
HDFS应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 HDFS应用程序开发流程 表1 HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ
HetuEngine应用开发流程介绍 开发流程中各阶段的说明如图1所示： 图1 HetuEngine应用程序开发流程 表1 HetuEngine应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解HetuEngine的基本概念，了解场景需求等。 HetuEngine应用开发简介
Kafka样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程：
HBase应用开发流程介绍 本文档主要基于Java API对HBase进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 HBase应用程序开发流程 表1 HBase应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解HBase的基本概念，了解场景需求，设计表等。
Doris应用开发流程介绍 开发流程中各阶段的说明如下图所示。 图1 Doris应用程序开发流程 表1 Doris应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用Java语言进行开发，使用IntelliJ IDEA工具，同时完成JDK、Maven等初始配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
