检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于全局二级索引查询HBase表数据 功能简介 添加了全局二级索引的用户表,在使用索引条件进行查询时,可以转换为对索引表的范围查询,性能高于针对无二级索引用户表的数据查询。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“Globa
言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HQL语言非常容易的完成数据提取、转换和加载(ETL)。 通过HQL完成海量结构化数据分析。 灵活的
INFO mapreduce.Job: Counters: 54 ... 作业任务运行完成后,进入Hive Beeline命令行,查询t2表数据内容,查看数据分析结果。 select * from t2; +----------+----------+ | t2.col1 | t2
OBS的一个分区表,但是运行速度却很慢,并且会大量调用OBS的查询接口。 SQL样例: select a,b,c from test where b=xxx 原因分析 按照设定,任务应该只扫描b=xxx的分区,但是查看任务日志可以发现,实际上任务却扫描了所有的分区再来计算b=xx
(手动修改客户端机器或者集群的时间),时间差小于5分钟。 MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查询。 下载MapReduce客户端程序到客户端机器中。 登录MRS Manager系统。 选择“服务管理 > 下载客户端”,下载客户端程序到客户端机器。
确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src/hbase-examples”目录下的样例工程文件夹“hbase-example”。
确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中的“src\storm-examples”目录下的“storm-examples”样例工程文件夹。
确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件,详情请参考准备连接HBase集群配置文件。 操作步骤 参考获取MRS应用开发样例工程,获取样例
提交到Yarn上,根因需要查看Executor。而管理控制台的作业管理功能,正常情况添加作业后会自动在Yarn上启动两个任务,一个提交到launcher-job队列,该队列为辅助作业队列。另外一个是作业实际执行的队列,如默认的default队列。 查看Executor日志(主Ma
DATABASE创建数据库 CREATE TABLE创建表 INSERT INTO插入表数据 SELECT查询表数据 ALTER TABLE修改表结构 ALTER TABLE修改表数据 DESC查询表结构 DROP删除表 SHOW显示数据库和表信息 父主题: 使用ClickHouse
日志级别 级别 描述 FATAL FATAL表示系统运行的致命错误信息。 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统调试信息。 如果您需要修改日志级别,请执行如下操作:
HBase Rest接口调用样例程序 使用REST接口查询HBase集群信息 使用REST接口获取所有HBase表 使用REST接口操作Namespace 使用REST接口操作HBase表 父主题: 开发HBase应用
HBase ThriftServer连接样例程序 通过ThriftServer实例操作HBase表 通过ThriftServer实例向HBase表中写入数据 通过ThriftServer实例读HBase表数据 父主题: 开发HBase应用
配置HBase应用安全认证 HBase数据读写示例安全认证(单集群场景) HBase服务数据读写示例安全认证(多集群互信场景) 调用REST接口访问HBase应用安全认证 访问HBase ThriftServer安全认证 HBase访问多ZooKeeper场景安全认证 父主题: 准备HBase应用开发环境
HBase Rest接口调用样例程序 使用REST接口查询HBase集群信息 使用REST接口获取所有HBase表 使用REST接口操作Namespace 使用REST接口操作HBase表 父主题: 开发HBase应用
0-SNAPSHOT.jar com.huawei.bigdata.HCatalogExample -libjars $LIB_JARS t1 t2 运行结果查看,运行后t2表数据如下所示: 0: jdbc:hive2://192.168.1.18:2181,192.168.1.> select *
Spark SQL样例程序 Spark SQL样例程序开发思路 Spark SQL样例程序(Java) Spark SQL样例程序(Scala) Spark SQL样例程序(Python) 父主题: 开发Spark应用
servers Broker地址列表。 生产者通过此参数值,创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。
MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题: 开发MapReduce应用
通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序(Java) 通过JDBC访问Spark SQL样例程序(Scala) 父主题: 开发Spark应用