检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark从HBase读取数据再写入HBase样例程序(Scala) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei
使用CDL从Opengauss同步数据到Hudi 操作场景 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从Opengauss导入数据到Hudi。 该章节内容适用于MRS 3.3.0及之后版本支持。 前提条件 集群已安装CDL、Hudi服务且运行正常。
Spark从HBase读取数据再写入HBase样例程序(Scala) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei
Spark从HBase读取数据再写入HBase样例程序(Scala) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei
运行HadoopStream作业 用户可将自己开发的程序提交到MRS中,执行程序并获取结果,本章节指导您如何在MRS集群中提交一个HadoopStream作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的Yarn,而是要基于其提交时的版本。一般
使用CDL同步drs-oracle-json数据到Hudi(ThirdKafka) 操作场景 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从ThirdKafka导入Oracle数据库数据到Hudi。 该章节内容适用于MRS 3.3.0及之后版本。
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。user
Flink CEP in SQL增强 SQL中的Flink CEP CloudStream扩展为允许用户在SQL中表示CEP查询结果以用于模式匹配,并在Flink引擎上对事件流进行评估。 SQL查询语法 通过MATCH_RECOGNIZE的SQL语法实现。MATCH_RECOGNIZE子句自Oracle
查看MRS集群审计日志 “审计”页面记录用户对集群Manager页面操作信息。管理员可查看用户在Manager上的历史操作记录,审计管理包含的审计内容信息,请参考审计日志。 该任务指导用户在MRS Manager查看、导出审计日志工作,用于安全事件中事后追溯、定位问题原因及划分事故责任。
从零开始使用CarbonData MRS 3.x之前版本参考本章节,MRS 3.x及后续版本请参考使用CarbonData(MRS 3.x及之后版本)。 本章节介绍使用Spark CarbonData的基本流程,所有任务场景基于spark-beeline环境。CarbonData快速入门包含以下任务:
在Ranger中配置Hive/Impala的访问权限 在创建完安装了Ranger组件的MRS集群后,Hive/Impala的权限控制暂未集成在Ranger中,由于Hive与Impala配置方法一致,本章节主要介绍Hive组件如何集成在Ranger中。 登录Ranger WebUI界面。
MERGE INTO 命令功能 通过MERGE INTO命令,根据一张表或子查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDATE或DELETE,无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作,执行效率要高于INSERT+UPDATE。 命令格式
IoTDB UDF概述 UDF(User Defined Function)即用户自定义函数。IoTDB提供多种内建函数及自定义函数来满足用户的计算需求。 UDF类型 IoTDB支持的UDF函数的类型如表1所示。 表1 UDF函数类型 UDF分类 描述 UDTF(User Defined
多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置
使用CDL从PgSQL同步数据到Hudi 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面,从PgSQL导入数据到Hudi。 前提条件 集群已安装CDL、Hudi服务且运行正常。 PgSQL数据库需要开启前置要
访问HBase ThriftServer认证 操作场景 HBase把Thrift结合起来可以向外部应用提供HBase服务。在HBase服务安装时可选部署ThriftServer实例,ThriftServer系统可访问HBase的用户,拥有HBase所有NameSpace和表的读、
Scala样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的Yarn,而是要基于其提交时的版本。一般
OpenTSDB CLI Tools介绍 OpenTSDB提供了客户端工具,可以直接调用相关命令对OpenTSDB进行操作。客户端工具同开源社区版本保持一致,请参见https://opentsdb.net/docs/build/html/user_guide/cli/index.html。