检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
create balancedClickHouseProperties."); throw e; } 父主题: 开发ClickHouse应用
create balancedClickHouseProperties."); throw e; } 父主题: 开发ClickHouse应用
Hive样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。
Debug 'Unnamed'”开启调试窗口,接着开始调试,比如单步调试、查看调用栈、跟踪变量值等,如下图所示。 图5 调试 父主题: Storm应用开发常见问题
rce.jar。 打包需使用storm-jartool工具,可在Windows或Linux上进行。 前提条件 已执行打包Storm样例工程应用。 操作步骤 将从IntelliJ IDEA打包出来的jar包放入指定文件夹(例如“D:\source”)。 在样例代码目录“src/st
CollectFemaleInfo <file>" exit(-1) # 创建SparkContext,设置AppName sc = SparkContext(appName = "CollectFemaleInfo")? """ 以下程序主要实现以下几步功能:
SparkContext:是Spark的对外接口。负责向调用该类的python应用提供Spark的各种功能,如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。 pyspark.RDD(Resilient
opentsdb.examples包的“OpentsdbExample”类的deleteData方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: public void deleteData(String dataPoint) { QUERY_URL =
DefaultTopicSelector(OUTPUT_TOPIC)) .withTupleToKafkaMapper( new FieldNameBasedTupleToKafkaMapper("word", "count")); // 定义拓扑 TopologyBuilder builder
LOG.info("Exiting Deleting a Hindex With Data."); } 父主题: 开发HBase应用
Flink Kafka样例程序(Scala) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
Server来访问SparkSQL的数据。JDBCServer在启动的时候,会启动一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器,等待JDB
file " + DEST_PATH + File.separator + FILE_NAME); } 父主题: 开发HDFS应用
operator .shuffle() // Stateful mapper with ID .map(new StateFulMapper()) .uid("mapper-id") // ID for the mapper // Stateless printing sink .print();
} LOG.info("Exiting Adding a Hindex With Data."); } 父主题: 开发HBase应用
mapPartitions接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构
mapPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造
delete(filePath, true); return fSystem.delete(filePath, true); } 父主题: 开发HDFS应用
JDBC标准API。 执行某些操作会产生“Method not supported”的SQLException异常。 父主题: Impala应用开发常见问题
Consumer类中,用于消费订阅的Topic消息。 代码样例 Consumer线程的dowork方法逻辑,该方法是run方法的重写。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: /** * 订阅Topic的消息处理函数 */ public void doWork()