检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sqlList.add(createDisSql); util.exeSql(sqlList); } 父主题: 开发ClickHouse应用
examples.FemaleInfoCollection: SparkConf conf = new SparkConf().setAppName("CollectFemaleInfo"); JavaSparkContext jsc = new JavaSparkContext(conf);
Flink Kafka样例程序(Scala) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
FileAppend”,文件内容分别为“Hello, webhdfs user!”和“Welcome back to webhdfs!”。 touch testFile vi testFile Hello, webhdfs user! touch testFileAppend vi
b.append("(" + q + "," + Bytes.toLong(CellUtil.cloneValue(cell)) + ")") } else { b.append("(" + q + "
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
print i except Exception, e: print e 父主题: 开发Hive应用
value() + " offsets: " + record.offset()); } } } 父主题: 开发Kafka应用
通过Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“hetu-examples\hetu-examples-security”。 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。
系统管理员。集群的时间可通过Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“hetu-examples”。 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ
配置Hive JDBC接口访问Hive安全认证 在开启了Kerberos认证的集群中,客户端连接组件之前需要进行安全认证,以确保通信的安全性,Hive应用开发需要进行ZooKeeper和Kerberos安全认证。 JDBC样例工程包含安全认证代码,支持在Windows与Linux环境运行,不
jdbcLookupMapper); //JdbcInsertBolt 实例化 String tableName = "GOAL"; JdbcMapper simpleJdbcMapper = new SimpleJdbcMapper(tableName
ee); } } messageNo++; } } 父主题: 开发Kafka应用
} } } Kafka消费者代码可参考使用多线程Producer发送消息。 父主题: 开发IoTDB应用
件。 log4j.logger.DUAL=debug,DUAL log4j.appender.DUAL=org.apache.log4j.RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本
在Linux环境中调测Hive JDBC样例程序 Hive JDBC应用程序支持在安装Hive客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive客户端。 当客户端所在主机不是集群中的节点时,需要在客
录,两种方式操作步骤基本一致,票据登录方式为开源提供的能力,后期需要人工上传票据,存在可靠性和易用性问题,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HDFS组件已经安装,并正常运行。 将storm-examples导入到Eclipse开发环境,请参见导入并配置Storm样例工程。
main/resources com.huawei.bigdata.kafka.example.Producer 父主题: 调测Kafka应用