检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive应用开发常见问题 Hive对外接口介绍 配置Windows通过EIP访问普通模式集群Hive 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 父主题: Hive开发指南(普通模式)
Storm应用开发常见问题 Storm-Kafka开发指引 Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 使用旧插件storm-kafka时如何正确设置offset
Impala开发规则 Hive JDBC驱动的加载 客户端程序以JDBC的形式连接Impalad时,需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 所以在客户端程序开始前,必须先使用当前类加载器加载该驱动类。 如果classp
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色,其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发和运行环境
准备Kafka应用开发环境 准备本地应用开发环境 准备连接Kafka集群配置文件 导入并配置Kafka样例工程 父主题: Kafka开发指南(普通模式)
准备Kudu应用开发环境 准备本地应用开发环境 父主题: Kudu开发指南(普通模式)
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤: 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Fl
准备HBase应用开发环境 准备本地应用开发环境 准备连接HBase集群配置文件 导入并配置HBase样例工程 父主题: HBase开发指南(普通模式)
HDFS应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 HDFS应用程序开发流程 表1 HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 常用概念 准备开发和运行环境 使用IntelliJ IDEA工具,请根据指导完成开发环境配置。
准备HDFS应用开发环境 准备HDFS应用开发和运行环境 导入并配置HDFS样例工程 父主题: HDFS开发指南(普通模式)
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
准备ClickHouse应用开发环境 准备ClickHouse应用开发和运行环境 导入并配置ClickHouse样例工程 导入并配置ClickHouse事务样例工程 导入并配置ClickHouse springboot样例工程 父主题: ClickHouse开发指南(安全模式)
tConnection方法中。在创建连接时传入表1中配置的user和password作为认证凭据,ClickHouse会带着用户名和密码在服务端进行安全认证。 MRS 3.3.0之前版本,示例代片段参考如下: clickHouseProperties.setPassword(userPass);
删除ClickHouse表 本章节介绍删除ClickHouse表样例代码。 删除在创建ClickHouse表中创建的副本表和分布式表。 示例代片段参考如下: private void dropTable(String databaseName, String tableName,
Flink开启Checkpoint样例程序 Flink开启Checkpoint样例程序开发思路 Flink开启Checkpoint样例程序(Java) Flink开启Checkpoint样例程序(Scala) 父主题: 开发Flink应用
录/Flink/flink”目录执行,例如“/opt/client/Flink/flink”。 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 请确保Jar包和配置文件的用户权限与Fli
创建HDFS文件并写入内容 功能简介 写文件过程为: 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统,在此系统上用户可以做一些消息的发布和订阅操作,假定用户要开发一个Producer,让其每秒向Kafka集群某Topic发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路