检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink DataStream样例程序(Scala) 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印出来。 代码样例 下面代码片段仅为演示,完整代码参见FlinkStreamScalaExample样例工程下的com.huawei.bigdata.flink
HBase样例程序开发思路 通过典型场景,您可以快速学习和掌握HBase的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。
向HBase表中插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例
向Phoenix表中插入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public
HBase Shell接口介绍 您可以使用Shell在服务端直接对HBase进行操作。HBase的Shell接口同开源社区版本保持一致,请参见http://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/ Shell命令执行方法:
BulkLoad和Put应用场景有哪些 问题 HBase支持使用bulkload和put方式加载数据,在大部分场景下bulkload提供了更快的数据加载速度,但bulkload并不是没有缺点的,在使用时需要关注bulkload和put适合在哪些场景使用。 回答 bulkload是
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE
Hive JDBC接口介绍 Hive JDBC接口遵循标准的JAVA JDBC驱动标准。 Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会获得“Method not suppo
Spark任务读取HBase报错“had a not serializable result” 问题 Spark任务读取HBase报错,报错信息:Task 0.0 in stage 0.0 (TID 0) had a not serializable result: org.apache
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述: http://hadoop.apache.org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个: FileSystem:是客户端应用的核心类。常用接口参见表1。
Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData(Java) 父主题: 开发Spark应用
MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题: MapReduce应用开发常见问题
查看HBase应用调测结果 HBase应用程序运行完成后,可直接通过运行结果查看应用程序运行情况。 也可以通过HBase日志获取应用运行情况。 运行结果会有如下成功信息: 2018-01-17 19:44:28,068 INFO [main] examples.HBaseExample:
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTPS协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified
执行任务时AppAttempts重试次数超过2次还没有运行失败 问题 系统默认的AppAttempts运行失败的次数为2,为什么在执行任务时,AppAttempts重试次数超过2次还没有运行失败? 回答 在执行任务过程中,如果ContainerExitStatus的返回值为ABO
Flink开启Checkpoint样例程序(Scala) 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 代码样例 发送数据形式。 下面代码片段仅为演示,完整代码参见FlinkCheckpointScalaExample样例工程下的com.huawei
HBase Java API接口介绍 接口使用建议 建议使用org.apache.hadoop.hbase.Cell作为KV数据对象,而不是org.apache.hadoop.hbase.KeyValue。 建议使用Connection connection = ConnectionFactory
健康检查时,误将JDBCServer Kill 问题 健康检查方案中,在并发执行的语句达到线程池上限后依然会导致健康检查命令无法执行,从而导致健康检查程序超时,然后把Spark JDBCServer进程Kill。 回答 当前JDBCServer中存在两个线程池HiveServer
加载空的part文件时,app无法显示在JobHistory的页面上 问题 在分组模式下执行应用,当HDFS上的part文件为空时,发现JobHistory首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时,会根据HDFS上的part文件大
Hive表的HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令进入控制台: source ${BIG