检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Impala完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除
安装客户端(3.x及之后版本) 操作场景 该操作指导用户在MRS集群创建成功后安装MRS集群所有服务(不包含Flume)的客户端。Flume客户端安装请参见安装Flume客户端。 客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。 修改集群内组件的服务端配置后,建议重新安装客户端
典型场景:从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码
在Hue WebUI使用文件浏览器 操作场景 用户需要使用图形化界面管理HDFS文件时,可以通过Hue完成任务。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外,如何采用Java命令提交Spark应用? 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下:
ALM-19008 HBase服务进程堆内存使用率超出阈值 告警解释 系统每30秒周期性检测HBase服务堆内存使用状态,当检测到HBase服务堆内存使用率超出阈值(最大内存的90%)时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 19008 重要 是 告警参数 参数名称
配置MRS集群告警事件消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。 在MRS管理控制台,按照集群维度,在集群信息页面的告警页签中能够提供选择是否使能通知服务,只有对应集群开关开启以后
配置Flink对接Kafka安全认证 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 用户使用Linux命令行创建
提升HBase Put和Scan性能综合调优 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 本章节适用于MRS 3.x及之后版本。 操作步骤 登录
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外,如何采用Java命令提交Spark应用? 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下:
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部表
MapReduce Java API接口介绍 MapReduce常用接口 MapReduce中常见的类如下。 org.apache.hadoop.mapreduce.Job:用户提交MR作业的接口,用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf
Spark客户端使用实践 本章节提供从零开始使用Spark,提交Spark应用程序,包括Spark Core及Spark SQL。其中,Spark Core为Spark的内核模块,主要负责任务的执行,用于编写Spark应用程序;Spark SQL为执行SQL的模块。 场景说明 假定用户有某个周末网民网购停留时间的日志文本
提升HBase Put和Scan数据性能 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用,当前版本各组件提供的样例工程汇总参见表1。 表
提升HBase实时写数据效率 操作场景 需要把数据实时写入到HBase中或者对于大批量、连续put的场景。 本章节适用于MRS 3.x及之后版本。 前提条件 调用HBase的put或delete接口,把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口:登录FusionInsight
提升HBase实时写数据效率 操作场景 需要把数据实时写入到HBase中或者对于大批量、连续Put的场景。 前提条件 调用HBase的put或delete接口,把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群
从零开始使用Spark SQL Spark提供类似SQL的Spark SQL语言操作结构化数据,本章节提供从零开始使用Spark SQL,创建一个名称为src_data的表,然后在src_data表中每行写入一条数据,最后将数据存储在“mrs_20160907”集群中。再使用SQL
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外,如何采用Java命令提交Spark应用? 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下:
导入并配置ClickHouse事务样例工程 本章节仅适用MRS 3.3.0及之后版本。 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过