检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
准备MapReduce应用运行环境 MapReduce的运行环境可以部署在Linux环境下。您可以按照如下操作完成运行环境准备。 操作步骤 确认服务端YARN组件和MapReduce组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 客户端机器的时间与Hado
为避免出现如上情况,添加表1中的配置项,避免两种模式下来回切换参数,提升软件易用性。 YARN-Cluster模式下,优先使用新增配置项的值,即服务端路径和参数。 YARN-Client模式下,直接使用原有的三个配置项的值。 原有的三个配置项为:“spark.driver.extraClassPath”、“spark
为避免出现如上情况,添加表1中的配置项,避免两种模式下来回切换参数,提升软件易用性。 YARN-Cluster模式下,优先使用新增配置项的值,即服务端路径和参数。 YARN-Client模式下,直接使用原有的三个配置项的值。 原有的三个配置项为:“spark.driver.extraClassPath”、“spark
in the Hadoop binaries. 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTPS协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified
如果拥有权限后还是无法访问该Topic,使用管理员用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”进入Kafka服务配置页面,搜索“allow.everyone.if.no.acl.found”配置项,将该值修改为“true”后,重新运行程序。
使用REST接口查询HBase集群信息 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTPS协议,获取集群版本与状态信息。 代码样例 获取集群版本信息 以下代码片段在“hbase-rest-example\src\main\java\com\huaw
警恢复。 告警属性 告警ID 告警级别 可自动清除 14002 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。
testFileAppend Welcome back to webhdfs! MRS集群默认只支持HTTPS服务访问,若使用HTTPS服务访问,执行3;若使用HTTP服务访问,执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持
使用REST接口获取所有HBase表 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTP协议,获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\h
通过ThriftServer实例读HBase表数据 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用get和scan进行读数据操作。 代码样例 方法调用 // Get data
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行
> 阈值配置 > 服务 > Yarn”修改阈值。当Yarn ResourceManager堆内存使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 18008 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName
连接数较多时,请确认连接的必要性,否则会对服务的性能造成影响,甚至可能造成服务不可用。 等待两分钟,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“Doris”,单击“确定”。
JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapReduce客户端配置文件中,否则,新运行的作业在查看作业历史信息时,仍然会指向原JobHistoryServer地址,导致无法正常跳转到作业历史信息页面。服务地址变更前运行的MapReduce作
通过ThriftServer实例读HBase表数据 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用get和scan进行读数据操作。 代码样例 方法调用 // Get data
集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 如果集群启用了安全服务,需要从管理员处获取一个“人机”用户,用于登录FusionInsight Manager平台并通过认证,并且获取到该用户的keytab文件。
统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK Java/Scala开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
告警属性 告警ID 告警级别 是否可自动清除 50224 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。