检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase应用开发简介 HBase介绍 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
"item_id":"333333"} {"user_id": "4","item_id":"44444444"} 输入完成后按回车发送消息。 登录HBase客户端,查看表数据信息。 hbase shell scan 'dim_province' 场景二:HBase作为维表。 在HBase客户端建表并写入数据。 参考
Broker实例的Controller所在主机的IP地址可登录FusionInsight Manager界面,选择“集群 > 服务 > Kafka”,在“概览”界面的基本信息区域查看“Controller所在的主机”获取。 在安装了MySQL客户端的节点上连接Doris,执行以下命令查看Doris表中的数据是否和9
准备MapReduce应用运行环境 MapReduce的运行环境可以部署在Linux环境下。您可以按照如下操作完成运行环境准备。 操作步骤 确认服务端YARN组件和MapReduce组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 客户端机器的时间与H
右键单击“HdfsExample.java”文件,选择“Run 'HdfsExample.main() '”。 图3 运行程序 样例运行成功后,运行信息如下,表示相关文件操作成功执行。 ... 2217 [main] INFO org.apache.hadoop.security.UserGroupInformation
需要处理大量重复数据,影响作业性能。 如A表字段(P1,A1,A2)使用如下方式关联B表字段(P1,B1,B2,B3)生成C的场景中,B表信息发生大量更新,但是B中的所需字段没有更新,在该关联中仅用到了B表的B1和B2字段,对于B表,每个记录更新只更新B3字段,B1和B2不更新,因此当B表更新,可以忽略更新后的数据。
在左侧租户列表,单击目标的租户。 单击“资源”页签,可以执行以下操作管理租户目录。 查看租户目录: 在“HDFS 存储”表格中查看相关信息。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。(MRS管理控制台为“文件/目录数上限”) 指定租户目录的“存储空间配额”列表示租户目录的存储空间大小。
RS集群Manager。 通过管理控制台添加资源池 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“租户管理”。 单击“资源池”页签。 单击“添加资源池”。 在“添加资源池”设置资源池的属性。 “名称”:填写资
Storm性能调优 操作场景 通过调整Storm参数设置,可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数,请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时,可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql
gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 source_info String 参数解释: 数据源信息,为json格式。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 connector_id String 参数解释: 数据连接ID。
量使“HCAT_CLIENT”生效。 export HCAT_CLIENT=/opt/hive_client 执行以下命令用于配置环境变量信息(以客户端安装路径为“/opt/client”为例): export HADOOP_HOME=/opt/client/HDFS/hadoop
会生成id,其他操作id为空。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 message String 参数解释: 错误信息。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 statement String 参数解释: 执行的SQL语句。 约束限制:
量使“HCAT_CLIENT”生效。 export HCAT_CLIENT=/opt/hive_client 执行以下命令用于配置环境变量信息(以客户端安装路径为“/opt/client”为例): export HADOOP_HOME=/opt/client/HDFS/hadoop
Storm常用参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 参数入口,请参考修改集群服务配置参数。 参数说明 表1 参数说明 配置参数 说明 默认值 supervisor.slots.ports supervisor上能够运行workers的端口列表。每个worke
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
境变量使HCAT_CLIENT生效。 export HCAT_CLIENT=/opt/hive_client 执行以下命令用于配置环境变量信息(以客户端安装路径为“/opt/client”为例): export HADOOP_HOME=/opt/client/HDFS/hadoop
境变量使HCAT_CLIENT生效。 export HCAT_CLIENT=/opt/hive_client 执行以下命令用于配置环境变量信息(以客户端安装路径为“/opt/client”为例): export HADOOP_HOME=/opt/client/HDFS/hadoop
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户