检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行Flink作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个Flink作业。 Flink作业用于提交jar程序处理流式数据。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。
求的用户的权限，只有HBase管理用户才有修改权限；其次检查发出该请求的IP的有效性，备集群只接收来自IP白名单中的机器发起的修改请求。IP白名单通过配置项“hbase.replication.allowedIPs”配置。 在FusionInsight Manager系统中，选择“集群
key：访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 yarn jar hdfs://hacluster/user/test.jar 确认作业配置信息，单击“确定”，完成作业的新增。 作业提交成功中，可在作业列表中查看作业运行状态及执行结果，等待作业状态变为“已完成”，可查看相关程序分析结果。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 后台Background线程数过多，导致新提交的任务无法及时运行。 可能原因 Hive后台的background线程池使用率过大。 HiveServer后台的background线程池执行的任务过多。 HiveServer后台的background线程池的容量过小。
查看Flink应用运行结果 Flink应用程序运行完成后，您可以查看运行结果数据，也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时，需要在Flink的web页面上查看Task Manager的Stdout日志。
集群工作区域下的可用区，创建集群时设置。 企业项目 集群所属的企业项目。 表2 MRS集群运行状态说明 状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且运行正常，则其状态为“运行中”。 扩容中 集群Master节点、Core节点或者Task节点正在扩容，则其状态为“扩容中”。
Spark任务运行失败 问题现象 报错显示executor出现OOM。 失败的task信息显示失败原因是lost task xxx。 原因分析 问题1：一般出现executor OOM，都是因为数据量过大，也有可能是因为同一个executor上面同时运行的task太多。 问题2：
sparksql SQL类型 SQL查询语句提交类型。 SQL：直接运行手动输入的SQL语句。 Script：以加载HDFS或者OBS中的SQL脚本文件运行SQL。 SQL SQL语句 “SQL类型”参数为“SQL”时参数有效，请输入待运行的SQL语句，然后单击“检查”来检查SQL语句的正确性，确保输入语句正确。
编译并运行Flink应用 在程序代码完成开发后，建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。 操作步骤
code=1) 原因分析 在安全模式下配置白名单启停参数hive.security.whitelist.switch时，需要运行的参数必须在hive.security.authorization.sqlstd.confwhitelist中配置。 默认白名单中没有包含mapred.max.split
角色实例正在入服。 未知 后台系统重启后，角色实例的初始状态。 健康状态 良好 该角色实例正常运行。 恢复中 后台系统正在尝试自动启动角色实例。 故障 该角色实例运行异常，如PID不存在，无法访问端口。 未知 角色实例所在主机与后台系统未连接。 亚健康 该角色实例部分正常运行 配置状态 已同步
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name 流程文件名
式分析等。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将运行作业所需的程序包和数据文件上传至OBS系统或HDFS中。 如果作业程序需要读取以及分析OBS文件系统中的数据，需要先配置MRS集群的存算分离，请参考配置MRS集群存算分离。
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name 流程文件名
hivesql SQL类型 SQL语句提交类型。 SQL：直接运行手动输入的SQL语句。 Script：以加载HDFS或者OBS中的SQL脚本文件运行SQL。 SQL SQL语句 “SQL类型”参数为“SQL”时参数有效，请输入待运行的SQL语句，然后单击“检查”来检查SQL语句的正确性，确保输入语句正确。
作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 hadoop_job 运行程序参数 可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 常用运行程序参数如表2。 - 执行程序参数 可选参数，程序执行的关键参数，该参
编译并运行HBase应用 在程序代码完成开发后，您可以在Windows开发环境中运行应用。 操作步骤 在windows下使用REST API操作HBase集群时，JDK版本需为jdk1.8.0_60及以上版本。从集群环境中获取jdk的cacerts文件，并复制“/opt/Bigd
JDBCServer长时间运行导致磁盘空间不足 用户问题 连接Spark的JDBCServer服务提交spark-sql任务到yarn集群上，在运行一段时间以后会出现Core节点的数据盘被占满的情况。 问题现象 客户连接Spark的JDBCServer服务提交spark-sql任
用Hive Catalog方式登录spark-sql。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 前提条件 已安装Spark服务，且服务运行状态正常。 已安装Spark客户端，详细操作请参见安装客户端（3.x及之后版本）。 已在Manager界面添加人
运行MRS作业 运行MapReduce作业 运行SparkSubmit作业 运行HiveSql作业 运行SparkSql作业 运行Flink作业 运行HadoopStream作业 父主题： 提交MRS作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
