检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3
SparkStreaming作业运行后报OBS访问403如何处理? 问: SparkStreaming作业运行几十个小时后失败,报OBS访问403如何处理? 答: 当用户提交作业需要读写OBS时,提交作业程序会默认为用户添加访问OBS的临时accesskey和secretkey,但
如果用户需要在统一的告警平台查看集群的告警和事件,管理员可以在FusionInsight Manager使用Syslog协议将相关数据上报到告警平台。 Syslog协议未做加密,传输数据容易被窃取,存在安全风险。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Mast
WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue WebUI。 在Hue的WebUI操作但不操作Manager页面,重新访问Manager时需要输入已登录的账号密码。 父主题: 使用Hue(MRS 3.x及之后版本)
GuoYijun,male,5 Map阶段: 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段: 获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。
进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的公网IP/端口号是可信任的公网访问IP范围,我了解使用0.0.0.0/0会带来安全风险”如图3所示。 图3 添加安全组规则 默认填充的是用户访问公网的IP地址,用户可根据需要修改IP地址段,如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。
组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。
GuoYijun,male,5 Map阶段: 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段: 获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。
使用查看HDFS中的目录和文件。需要MRS集群已安装HDFS。 使用查看MRS集群中所有作业。需要MRS集群已安装YARN。 使用创建的用户第一次登录Hue WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue WebUI。
Doris FE实例IP地址可在MRS集群管理控制台的“组件管理”界面,单击“Doris”,选择“实例”页签,即可查看FE实例的业务IP地址。 将云服务器的“业务端口”都设置为Doris FE服务的MySQL协议查询连接端口,默认为“9030”,可在Doris组件的服务配置页面搜索“query_port”查看。
查看Storm应用调测结果 操作场景 Storm应用程序运行完成后,可通过登录Storm WebUI查看应用程序的运行情况。 操作步骤 登录FusionInsight Manager系统。 在浏览器地址栏中输入访问地址,地址格式为“https://FusionInsight Ma
查看Storm应用调测结果 操作场景 Storm应用程序运行完成后,可通过登录Storm WebUI查看应用程序的运行情况。 操作步骤 登录FusionInsight Manager系统。 在浏览器地址栏中输入访问地址,地址格式为“https://FusionInsight Ma
导入服务配置数据 启动服务的健康检查 服务配置 上传配置文件 下载配置文件 同步实例配置 实例入服 实例退服 启动实例 停止实例 定制实例监控指标 重启实例 滚动重启实例 导出实例监控数据 导入实例配置数据 创建实例组 修改实例组 删除实例组 移动到另一个实例组 服务进入维护模式 服务退出维护模式
查看到的RegionServer主机名称对应的ID。 例如,若查看到的RegionServer的URL为“/HBase/RegionServer/44”,则访问地址为“https://100.94.xxx.xxx:9022/component/HBase/RegionServer/44/rs-status”。
database 该策略允许访问的数据库名称。 test table 该策略允许访问的数据库对应的表名称。 table1 Hive Column 该策略允许访问的数据库对应的表的列名。 name Allow Conditions Select Group:该策略允许访问的用户组。 Select
单击“导出”,导出当前查看的指标数据。 查看主机资源概况 该操作仅适用于MRS 3.x及之后版本。 登录到FusionInsight Manager页面,选择“主机 > 资源概况”。 查看分布信息。 在“分布”页签,可查看集群的资源分布监控,默认显示1小时的监控数据。用户可单击自定义时间区间。
访问Hue原生页面时间长,文件浏览器报错Read timed out 问题 访问Hue原生页面时页面加载时间较长,访问Hue的HDFS文件浏览器报错Read timed out,如何解决。 回答 检查HDFS服务中是否安装Httpfs实例。 否,请联系运维人员处理。 是,重启HttpFS实例解决。
Manager页面加载卡顿 用户问题 MRS集群Manager页面加载卡顿。 问题现象 登录MRS集群的Manager页面,单击一个按钮需要等一分钟后才能加载到数据,部分按钮单击后卡顿无法访问。 原因分析 查看“/var/log/Bigdata/omm/oms/pms/scriptlog/pms_script
如果用户需要在统一的运维网管平台查看集群的告警、监控数据,管理员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC,且Master节点可以访问对接服务器的IP地址和指定端口。
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在JDBCServer节点上分别