检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
th-dependencies”字段的Jar包放进该路径下,并在该目录下创建子目录“src/main/resources”,将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。 执行以下命令运行Jar包:
使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 父主题: 开发Kafka应用
successfully."); } catch (Exception e) { LOG.error("Create table failed.", e); } LOG.info("Exiting testCreateTable."); } /**
ib”目录下。 将IntelliJ IDEA工程“src/main/resources”目录下的所有文件复制到与依赖库文件夹同级的目录“src/main/resources”下,即“/opt/client/src/main/resources”。“/opt/client”为客户端安装路径,具体以实际为准。
https://github.com/apache/storm/tree/v0.10.0/external/storm-jdbc。 父主题: Storm应用开发常见问题
消息消费请求 ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record :
消息消费请求 ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record :
table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。 基于某些业务要求,要求开发Spark应用程序实现如下功能: 根据用户名累计用户的历史消费金额,即用户总消费金额=100(用户当天的消费金额) + 1000(用户历史消费金额)。
操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src/hbase-examples”目录下的样例工程文件夹“hbase-example”。 将准备运行环境时获取的集群配置文件都放置到样例工程中的“hbase-example\src\main\resources\conf”目录中。
Hudi自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题: 开发Spark应用
导入并配置Hive JDBC/HCatalog样例工程 配置Hive Python样例工程 配置Hive Python3样例工程 父主题: 准备Hive应用开发环境
导入并配置Hive JDBC/HCatalog样例工程 配置Hive Python样例工程 配置Hive Python3样例工程 父主题: 准备Hive应用开发环境
Streaming状态操作样例程序开发思路 Spark Structured Streaming状态操作样例程序(Scala) 父主题: 开发Spark应用
Streaming对接Kafka样例程序开发思路 Spark Structured Streaming对接Kafka样例程序(Scala) 父主题: 开发Spark应用
Streaming状态操作样例程序开发思路 Spark Structured Streaming状态操作样例程序(Scala) 父主题: 开发Spark应用
场景说明 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Spark应用程序实现如下功能: 实时统计连续网购时间超过半个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“,”。 log1
密码) props.put("ssl.truststore.password", "XXXXX"); 按需修改客户端样例工程的“src/main/resources”目录下的“producer.properties”和“consumer.properties”中的“security
Hive样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。
opentsdb.examples包的“OpentsdbExample”类的deleteData方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: public void deleteData(String dataPoint) { QUERY_URL =
数据源持续不断地发送随机文本给文本拆分逻辑,如“apple orange apple”。 单词拆分逻辑将数据源发送的每条文本按空格进行拆分,如“apple”,“orange”,“apple”,随后将每个单词逐一发给单词统计逻辑。 单词统计逻辑每收到一个单词就进行加一操作,并将实时结果打印输出,如: apple:1 orange:1