检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提升HBase BulkLoad工具批量加载效率 操作场景 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。
读取HDFS文件失败,报错“FileNotFoundException” 问题背景与现象 有MapReduce任务所有map任务均成功,但reduce任务失败,查看日志发现报异常“FileNotFoundException...No lease on...File does not
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
HBase常见问题 结束BulkLoad客户端程序,导致作业执行失败 如何修复长时间处于RIT状态的Region HMaster等待NameSpace表上线时超时退出 客户端查询HBase出现SocketTimeoutException异常 在启动HBase shell时报错“java
Flink DataStream样例程序(Scala) 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印出来。 DataStream FlinkStreamScalaExample代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata
在本地Windows环境中调测HBase应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在
HBase Shell接口介绍 您可以使用Shell在服务端直接对HBase进行操作。HBase的Shell接口同开源社区版本保持一致,请参见http://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/ Shell命令执行方法:
Kafka客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Kafka客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装集群客户端,例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载k
当表名为table时,执行相关操作时出现异常 问题 当创建了表名为table的表后,执行drop table table上报以下错误,或者执行其他操作也会出现类似错误。 16/07/12 18:56:29 ERROR SparkSQLDriver: Failed in [drop
场景说明 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求,开发的Spark应用程序实现如下功能: 实时累加计算每个单词的记录总数。 “log1.txt”示例文件: LiuYang YuanJing GuoYijun CaiXuyu Liyuan FangBo
查看HBase慢请求和超大请求信息 操作场景 该章节主要介绍如何在HBase Shell命令行查询慢请求或超大请求信息。慢请求是指通过hbase shell命令查询服务端时,RPC请求响应时长超过阈值(即HBase服务端配置参数“hbase.ipc.warn.response.t
HBase Phoenix API接口介绍 版本关系 若使用Phoenix,需下载与当前使用MRS集群相对应的Phoenix版本,具体请参见http://phoenix.apache.org。其对应关系如表1所示: 表1 MRS与Phoenix版本对应关系一览表 MRS版本 Phoenix版本
MRS 3.1.2-LTS.3版本说明 发布日期 MRS 3.1.2-LTS.3 2022年5月1日 更新内容 首个商用LTS版本上线。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 21.3.4.25 DBService
在本地Windows环境中调测ClickHouse应用(MRS 3.3.0之前版本) 编译并运行程序 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run
在本地Windows环境中调测ClickHouse应用(MRS 3.3.0之前版本) 编译并运行程序 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run
在本地Windows环境中调测ClickHouse应用 编译并运行程序 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run
LIMIT | FETCH FIRST LIMIT和FETCH FIRST都可以限制结果集中的行数。Limit和offset可以配合使用进行分页查询。 LIMIT LIMIT { count | ALL } 下面的查询限制返回的行数为5: SELECT * FROM fruit LIMIT
单表并发控制配置 参数 描述 默认值 hoodie.write.lock.provider 指定lock provider,不建议使用默认值,使用org.apache.hudi.hive.HiveMetastoreBasedLockProvider org.apache.hudi
Spark读写Hudi开发规范 Spark写Hudi各种写入模式参数规范说明 类型 说明 开启参数 场景选择 特点 upsert update + insert Hudi默认写入类型,写入具有更新能力。 默认,无需参数开启。 SparkSQL: set hoodie.datasource
Flink DataStream Scala样例代码 功能简介 实时统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印出来。 样例代码 下面代码片段仅为演示,具体代码参见com.huawei.flink.example.stream.FlinkStreamScalaExample: