检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Scala样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: object CollectFemaleInfo
Scala样例代码 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples.SparkHivetoHbase
Java样例代码 功能简介 在Spark应用中,通过使用HBase接口来实现创建表,读取表,往表中插入数据等操作。 代码样例 下面代码片段仅为演示,具体代码参见SparkOnHbaseJavaExample: 样例:创建HBase表 public class TableCreation
Java样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
Java样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息,将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples
Scala样例代码 功能介绍 在Spark应用中,通过使用StructuredStreaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
Python样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见collectFemaleInfo.py: def contains(str, substr): if substr in str:
Scala样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: //配置Spark应用名称 val
Java样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类: //创建一个配置类Sp
Python样例代码 功能简介 通过连接zookeeper上的对应znode获取到当前主JDBCServer的IP和PORT,然后使用pyhive连接到这个JDBCServer,从而实现在JDBCServer-ha模式下,出现主备倒换后不需要修改代码依旧就能直接访问新的主JDBCServer服务。
Scala样例代码 功能简介 在Spark应用中,通过使用HBase接口来实现创建表,读取表,往表中插入数据等操作。 代码样例 下面代码片段仅为演示,具体代码参见SparkOnHbaseScalaExample: 样例:创建HBase表 //建立连接hbase的配置参数,此时需要保证hbase-site
Scala样例代码 功能介绍 在Spark应用中,通过使用Streaming调用kafka接口来获取数据,然后把数据经过分析后,找到对应的HBase表记录,再写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
Scala样例代码 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: val sqlList = new ArrayBuffer[String] sqlList += "CREATE
Java样例代码 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>(); sqlList
HBase SQL查询样例代码说明 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hba
Oozie样例代码说明 job.properties workflow.xml Start Action End Action Kill Action FS Action MapReduce Action coordinator.xml 父主题: 开发Oozie应用
Oozie代码样例说明 配置Oozie作业运行参数 配置Oozie业务运行流程 配置Oozie作业执行入口 配置Oozie MapReduce作业 配置Oozie作业操作HDFS文件 配置Oozie作业执行终点 配置Oozie作业异常结束打印信息 配置Coordinator定时调度作业
Oozie样例代码说明 配置Oozie作业运行参数 配置Oozie业务运行流程 配置Oozie作业执行入口 配置Oozie MapReduce作业 配置Oozie作业操作HDFS文件 配置Oozie作业执行终点 配置Oozie作业异常结束打印信息 配置Coordinator定时调度作业
Oozie样例代码说明 job.properties workflow.xml Start Action End Action Kill Action FS Action MapReduce Action coordinator.xml 父主题: 开发Oozie应用
Flink DataStream Scala样例代码 功能简介 实时统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印出来。 样例代码 下面代码片段仅为演示,具体代码参见com.huawei.flink.example.stream.FlinkStreamScalaExample: