检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接云搜索服务(CSS)样例程序 Flink对接云搜索服务(CSS)样例程序开发思路 Flink对接云搜索服务(CSS)样例程序(Java) 父主题: 开发Flink应用
明。 log4j.logger.DUAL=debug,DUAL log4j.appender.DUAL=org.apache.log4j.RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本
1、命令行方式提交,这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交,这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ,在本地执行应用程序,一般用来测试
fSystem.mkdirs(filePath); } return true; } 父主题: 开发HDFS应用
Streaming样例程序(Scala) Spark Structured Streaming样例程序(Python) 父主题: 开发Spark应用
Streaming对接Kafka0-10样例程序(Java) Spark Streaming对接Kafka0-10样例程序(Scala) 父主题: 开发Spark应用
Flink Kafka样例程序(Java) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
Spark从Hive读取数据再写入HBase样例程序(Scala) Spark从Hive读取数据再写入HBase样例程序(Python) 父主题: 开发Spark应用
准备连接Kafka集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,用于验证应用程序运行。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端
info("SmallFile not support to set Storage Policy !!!"); } } 父主题: 开发HDFS应用
info("SmallFile not support to set Storage Policy !!!"); } } 父主题: 开发HDFS应用
使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 父主题: 开发Kafka应用
file. Exception:" + e); } finally { close(out); } } 父主题: 开发Alluxio应用
file. Exception:" + e); } finally { close(in); } } 父主题: 开发Alluxio应用
Encoding”和“Global Encoding”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图9所示。 图9 设置IntelliJ IDEA的编码格式 父主题: 准备Kafka应用开发环境
使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象:out,使用out的write方法追加写入数据。 调用fSystem的open接口创建FSDataInputStream对象:in,使用in的read方法读取文件。
// 4.汇总在一个时间窗口内每个女性上网时间 JavaPairDStream<String, Integer> aggregateRecords = JavaPairDStream.fromJavaDStream(femaleRecords)
https://github.com/apache/storm/tree/v0.10.0/external/storm-jdbc。 父主题: Storm应用开发常见问题
API的开发过程,并且对关键的函数有所了解。 场景说明 假定用户需要以非界面方式实现操作FusionInsight Manager系统,要求开发基于HTTP Basic认证的应用程序实现如下功能: 登录FusionInsight Manager系统。 访问FusionInsight Manager系统,进行查询、添加、删除等操作。
HetuEngine样例程序开发思路 通过典型场景,用户可以快速学习和掌握HetuEngine的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,需要对Hive数据源的A表和MPPDB数据源的B表进行join运算,则可以用HetuEngine来实现Hive数据源数据查询,流程如下: