检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
period 多租户模式下,JDBCServer代理检查JDBCServer健康状态周期。 60000 spark.thriftserver.proxy.healthcheck.recheckTimes 多租户模式下,JDBCServer代理检查JDBCServer健康状态失败后重试次数。
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情,以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志,因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。
HetuEngine SQL诊断功能介绍 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务,提升在线SQL运维能力,自动加速在线SQL分析任务,开启SQL诊断能力后,系统可实现如下能力: 自动感知并向集群管理员展现不同时间周期范围内的租户级、用户级的S
访问作业浏览器 访问Hue WebUI,请参考访问Hue WebUI界面。 单击作业,进入“作业浏览器”。 默认显示当前集群的所有作业。支持查看Workflow、Coordinator和Bundles作业的运行情况。 作业浏览器显示的数字表示集群中所有作业的总数。 “作业浏览器”将显示作业以下信息:
period 多租户模式下,JDBCServer代理检查JDBCServer健康状态周期。 60000 spark.thriftserver.proxy.healthcheck.recheckTimes 多租户模式下,JDBCServer代理检查JDBCServer健康状态失败后重试次数。
disable: false 具体配置项介绍请参考HA。 Web安全 Flink Web安全加固,支持白名单过滤,Flink Web只能通过YARN代理访问,支持安全头域增强。在Flink集群中,各部件的监测端口支持范围可配置。 编码规范: 说明:Web Service客户端和服务器间使用
ST接口调用HDFS,通过浏览器返回结果呈现给用户。 Hive Hive提供THRIFT接口与Hue交互,用于执行Hive SQL、查询表元数据。 在Hue界面编辑HQL语句,通THRIFT接口提交HQL语句到HiveServer执行,同时把执行通过浏览器呈现给用户。 Yarn/MapReduce
disable: false 具体配置项介绍请参考HA。 Web安全 Flink Web安全加固,支持白名单过滤,Flink Web只能通过YARN代理访问,支持安全头域增强。在Flink集群中,各部件的监测端口支持范围可配置。 编码规范: 说明:Web Service客户端和服务器间使用
户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据,客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用,同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS:数据存储和计算分离,集群存储
HetuEngine用户权限管理 HetuEngine用户权限说明 创建HetuEngine权限角色 配置HetuEngine使用代理用户鉴权 父主题: 使用HetuEngine
FlinkServer REST API样例程序 使用代理用户访问FlinkServer REST API样例程序(Java) 父主题: 开发Flink应用
取结果,本章节指导您如何在MRS集群中提交一个Flink作业。 Flink作业用于提交jar程序处理流式数据。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在未开启Kerberos认证的MRS 3.1
Hue常见问题 使用IE浏览器在Hue中执行HQL失败 Hue WebUI中Oozie编辑器的时区设置问题 父主题: 使用Hue
Loader常见问题 IE 10&IE 11浏览器无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 父主题: 使用Loader
API样例程序 FlinkServer REST API样例程序开发思路 FlinkServer REST API样例程序(Java) 使用代理用户访问FlinkServer REST API样例程序(Java) 父主题: 开发Flink应用
使用Hue Hue界面中查看到未知Job在运行 使用IE浏览器在Hue中执行HQL失败 Hue WebUI界面访问失败 Hue界面无法加载HBase表 Hue中的输入框输入中文会出现混乱 Hue上执行Impala SQL查询中文报错
MapReduce服务 MRS MRS集群健康检查 03:25 MRS集群健康检查 MapReduce服务 MRS 在线检索和下载MRS集群日志 03:48 在线检索和下载MRS集群日志 MapReduce服务 MRS 创建MRS集群用户 05:19 创建MRS集群用户 组件知识培训
WebUI访问HDFS文件失败 在Hue页面上传大文件失败 Hue WebUI中Oozie编辑器的时区设置问题 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue(MRS 3.x及之后版本)
WebUI访问HDFS文件失败 在Hue页面上传大文件失败 集群未安装Hive服务时Hue原生页面无法正常显示 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue
Kafka作为一个消息发布-订阅系统,为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息,并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示: 图1 与其他组件关系 父主题: Kafka