检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm > 下载客户端 > 完整客户端”,下载客户端程序到“远端主机”,即目标ECS。 登录到客户端下载的目标ECS。 在Linux系统中,使用如下命令解压客户端压缩包。 tar -xvf MRS_Storm_Client.tar tar -xvf MRS_Storm_ClientConfig
tion Properties,其中Host为运行的NodeManager节点IP,Port端口号为8000,然后单击“Debug”。 若使用IDE直接提交MapReduce任务,则IDE即成为客户端的角色,参考1修改二次开发工程中的“mapred-site.xml”即可。 父主题:
Application计算和处理用户数据。 SparkScript:提交SparkScript脚本,批量执行Spark SQL语句。 Spark SQL:使用Spark提供的类似SQL的Spark SQL语句,实时查询和分析用户数据。 Hive:建立在Hadoop基础上的开源的数据仓库。MRS支
集群Master节点NTP时间与集群外节点的NTP服务器时间不同步,时间相差超过15min,导致集群访问OBS时鉴权失败,上报403异常。 处理步骤 以root用户登录集群主Master节点。 修改“${BIGDATA_HOME}/om-server/om/inst/conf/oms-config
// 对于需要访问ZooKeeper的组件,需要提供jaas和krb5配置 // 在Map中不需要重复login,会使用main方法中配置的鉴权信息 String krb5 = "krb5.conf"; String jaas = "jaas_mr
永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改,服务器返回此状态码时,不会返回任何资源。 305 Use
prot opt source destination 执行以下命令,将集群使用的所有IP地址配置为受信任的IP,每个IP需要添加一次。 iptables -A INPUT -s 受信任IP地址 -p tcp --dport
0-LTS版本集群,当MRS 3.3.0-LTS发布商用后,之前较早的版本(如MRS 3.1.2-LTS)默认将不在控制台上提供创建入口。对存量用户使用的MRS 3.1.2-LTS版本集群不影响。 集群版本升级 MRS LTS版本集群支持大版本升级的演进路线,默认情况下只支持跨一个版本的升级,如MRS
// 对于需要访问ZooKeeper的组件,需要提供jaas和krb5配置 // 在Map中不需要重复login,会使用main方法中配置的鉴权信息 String krb5 = "krb5.conf"; String jaas = "jaas_mr
通过获取客户端的principal和keytab文件在应用程序中进行认证,用于Kerberos安全认证的keytab文件和principal文件您可以联系管理员创建并获取,具体使用方法在样例代码中会有详细说明。 目前样例代码统一调用LoginUtil类进行安全认证,支持Oracle JAVA平台和IBM JAVA平台。
通过获取客户端的principal和keytab文件在应用程序中进行认证,用于Kerberos安全认证的keytab文件和principal文件您可以联系管理员创建并获取,具体使用方法在样例代码中会有详细说明。 目前样例代码统一调用LoginUtil类进行安全认证,支持Oracle JAVA平台和IBM JAVA平台。
sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端回退的操作。 登录客户端所在节点并执行以下命令: cd /opt/{MRS补丁版本号}/client
GC时间超出阈值,会影响JDBCServer进程运行的性能,甚至造成JDBCServer进程不可用。 可能原因 该节点JDBCServer进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为
Manager,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读包率信息 > 读包错误率”中更改告警阈值。 等待5分钟,检查该告警是否恢复。
日志共享:用户可以在MRS页面发起日志共享,选择日志范围共享给运维人员,以便运维人员在不接触集群的情况下帮助定位问题。 运维授权:MRS服务提供运维授权功能,用户在使用MRS集群过程中,发生问题可以在MRS页面发起运维授权,由运维人员帮助用户快速定位问题,用户可以随时收回该授权。 健康检查 MRS为用户提
sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级或者回退的操作。 登录客户端所在节点并执行以下命令: cd /opt/{MRS补丁版本号}/client
的集群配置跨集群互信,并将创建的Flink用户加入“kafkaadmin”用户组。 “角色”:加入2新增的developrole等角色。 使用developuser用户登录FusionInsight Manager,首次登录需根据界面提示修改用户密码,修改成功后再次登录FusionInsight
> 用户 > 添加用户”,在新增用户界面创建一个机机用户,例如developuser。 “用户组”需加入“kafkaadmin”用户组。 使用Ranger管理员用户rangeradmin登录Ranger管理页面。 在首页中单击“KAFKA”区域的组件插件名称如“Kafka”。 单击“Policy
输入“日志存储时间”,如果不设置,系统默认存储时间为30天。日志组创建后,日志存储时间支持修改。 云日志服务的计费单位为日志使用量,免费额度为500MB/月,包括日志读写、日志存储和日志索引,超过免费额度后将按照日志使用量进行收费。 单击“确定”,完成日志组的创建。 在“日志管理”页面中,可以查看日志组名称、日
examples-*.jar”。 在样例代码的“springboot/kafka-examples”目录下找到pom文件,在此文件同级目录使用maven install工具编译SpringBoot样例,此时会生成一个target文件夹,在target文件夹中得到“huawei-s