-
如何对Hive表大小数据进行监控 - MapReduce服务 MRS
如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控? 回答 当用户要对Hive表大小数据进行监控时,可以通过HDFS的精细化监控对指定表目录进行监控,从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常
-
如何对Hive表大小数据进行监控 - MapReduce服务 MRS
如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控? 回答 当用户要对Hive表大小数据进行监控时,可以通过HDFS的精细化监控对指定表目录进行监控,从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常
-
如何在MRS集群中手动添加组件? - MapReduce服务 MRS
如何在MRS集群中手动添加组件? 问:如何在已创建好的MRS集群中手动添加服务? 答: 已经创建的MRS 3.1.0及之前版本集群不支持安装新的组件。如果需要使用当前集群未安装的组件,则需要重新创建一个集群,并且选择所需要的组件。 MRS 3.1.2-LTS.3及之后版本的自定义
-
使用MRS Spark SQL访问DWS表 - MapReduce服务 MRS
使用MRS Spark SQL访问DWS表 华为云提供MapReduce服务(MRS),可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件,专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL语言,
-
如何配置Flume定制脚本 - MapReduce服务 MRS
待操作集群的名称 > 服务 > Flume”进入Flume服务界面,在右上角选择“更多 > 下载客户端”,选择“选择客户端类型”为“完整客户端”,下载Flume服务客户端文件。 客户端文件名称为“FusionInsight_Cluster_<集群ID>_Flume_Client.
-
如何配置Flume定制脚本 - MapReduce服务 MRS
tar”为例进行描述。 上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client” user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的节点。进入安装包所在目录,例如“/opt/
-
Linux中安装客户端时提交Storm拓扑 - MapReduce服务 MRS
1/bin”目录,将刚打出的source.jar提交(如果在Windows上进行的打包,则需要将Windows上的source.jar上传到Linux服务器,假定上传到“/opt/jartarget”目录),执行命令:storm jar /opt/jartarget/source.jar com
-
MRS集群如何使用公网访问Presto - MapReduce服务 MRS
在VPC上创建一个弹性公网IP地址,并在VPC控制台上找到MRS集群的子网,然后找到Presto的浮动IP,并给该浮动IP绑定弹性公网IP。 在MRS服务集群的安全组中放通源地址到MRS服务Presto的端口访问,然后测试(以非安全集群为例,catalog为hive)。 父主题: 使用Presto
-
MRS 1.9.3 Ranger证书如何更新? - MapReduce服务 MRS
9_Patch_UpdateRangerJks_All_20210203.tar.gz,并上传到集群主RangerAdmin实例所在的节点/tmp目录。 请在MRS Manager页面“服务管理 > Ranger > 实例”中查看主RangerAdmin实例所在节点IP。 北京一区
-
使用Spark执行Hudi样例程序开发思路 - MapReduce服务 MRS
conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Python样例代码无需通过Maven打包,只需要上传user.keytab、krb5.conf 文件到客户端所在服务器上。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/example/”
-
使用Spark执行Hudi样例程序开发思路 - MapReduce服务 MRS
conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Python样例代码无需通过Maven打包,只需要上传user.keytab、krb5.conf 文件到客户端所在服务器上。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/example/”
-
使用Spark执行Hudi样例程序开发思路 - MapReduce服务 MRS
在Linux环境中编包并运行Spark程序。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/example/” )下。 运行任务 登录Spark客户端节点,执行如下命令: source 客户端安装目录/bigdata_env
-
使用Spark执行Hudi样例程序开发思路 - MapReduce服务 MRS
在Linux环境中调测Spark应用。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/example/” )下。 运行任务 登录Spark客户端节点,执行如下命令: source 客户端安装目录/bigdata_env
-
认证鉴权 - MapReduce服务 MRS
”加到请求消息头即可,如下所示。 Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333 。 AK/SK认证 AK/S
-
MRS集群节点如何进行操作系统漏洞升级 - MapReduce服务 MRS
处理步骤 修复漏洞前请确认是否开启了主机安全服务(Host Security Service,简称HSS),如果已开启,需要先暂时关闭HSS服务对MRS集群的监测,漏洞修复完成后重新开启HSS服务。 登录MRS服务控制台。 单击集群名称进入集群详情页面,并选择“节点管理”。 在Cor
-
准备Spark应用运行环境 - MapReduce服务 MRS
行环境准备。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
-
配置监控指标转储 - MapReduce服务 MRS
Manager支持采集当前管理的集群内所有监控指标数据,采集的周期有30秒、60秒和300秒三种。监控指标数据在FTP服务器保存时,会根据采集周期分别保存在不同的监控文件中,监控文件命名规则为“集群名称_metric_监控指标数据采集的周期_文件保存时间.log”。 前提条件 转储服务器对应的弹性云服务器需要和MRS
-
如何让不同的业务程序分别用不同的Yarn队列? - MapReduce服务 MRS
当前租户是否需要关联使用其他服务的资源? 是,执行4。 否,执行5。 单击“关联服务”,配置当前租户关联使用的其他服务资源。 在“服务”选择“HBase”。 在“关联类型”选择: “独占”表示该租户独占服务资源,其他租户不能再关联此服务。 “共享”表示共享服务资源,可与其他租户共享使用此服务资源。
-
如何避免Kerberos认证过期? - MapReduce服务 MRS
如何避免Kerberos认证过期? 对于JAVA应用 在连接HBase、HDFS或者其他大数据组件前,先调用loginUserFromKeytab()创建UGI,然后启动一个定时线程进行检查是否过期并在过期前重新登录。 private static void startCheck
-
通过JDBC访问Spark SQL样例程序开发思路 - MapReduce服务 MRS
用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在JDBCServer节点上分别创建“/home/data”文件,内容如下: Miranda,32 Karlie