检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业所依赖的原始lib包。无实体进程，作业运行过程不依赖FlinkResource。 FlinkServer：基于Web的作业管理二次开发平台，可直接在界面开发与管理FlinkSQL作业。具有运维管理界面化、作业开发SQL标准化等特点。 Flink结构如图2所示。 图2 Flink结构
载并安装后，管理员通过Manager界面修改了服务端配置，开发人员需要更新客户端配置文件的场景。 平台类型包括x86_64和aarch64两种： x86_64：可以部署在X86平台的客户端软件包。 aarch64：可以部署在TaiShan服务器的客户端软件包。 集群支持下载x86
spark-token-provider-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar 版本号中包含hw-ei的依赖包请从华为开源镜像站下载。 版本号中不包含hw-ei的依赖包都来自开源仓库，请从Maven中心仓获取。 运行任务 在运行样例程序时需要指定<checkpointDir>
现有集群：包括除了“失败”和“已删除”状态以外的所有集群。 历史集群：仅包含“已删除”的集群，目前界面只显示6个月内创建且已删除的集群，若需要查看6个月以前删除的集群，请联系华为云支持人员。 失败任务管理：单击可查看“失败”状态的集群创建任务。 表1 集群列表参数 参数 参数说明 名称/ID 集群的名称，创建集群时
STRING)); // Java CLI和JDBCServer 除了API编程接口之外，Spark SQL还对外提供CLI/JDBC接口： spark-shell和spark-sql脚本均可以提供CLI，以便于调试。 JDBCServer提供JDBC接口，外部可直接通过发送JDBC请求来完成结构化数据的计算和解析。
节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。 否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请
Manager，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64），单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例
图7 设置工程资源目录 将工程依赖的jar包添加到类路径。 如果通过开源镜像站方式获取的样例工程代码，在配置好Maven后（配置方式参考配置华为开源镜像仓）， 相关依赖jar包将自动下载，不需手动添加。 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ
非分区表 单表数据总条数 = select count(1) from tablename（入湖时需提供）； 单条数据大小 = 平均 1KB（华为建议通过select * from tablename limit 100将查询结果粘贴在notepad++中得出100条数据的大小再除以100得到单条平均大小）
节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。 否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面，选择对应MRS集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果
下载客户端”。 MRS 3.3.0及之后版本：在主页右上方单击“下载客户端”。 下载集群客户端。 “选择客户端类型”选择“仅配置文件”，选择平台类型，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client/”。 登录Manager的主管理节点。
y”，单击“OK”。 将工程依赖的jar包添加到类路径。 如果通过开源镜像站方式获取的样例工程代码，在配置好Maven后（配置方式参考配置华为开源镜像仓）， 相关依赖jar包将自动下载，不需手动添加。 将工程中的conf目录添加到资源路径。 在Intellij IDEA的菜单栏选择“File
Encodings”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图2所示。 图2 设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，使用IntelliJ IDEA开发工具时，可选择“File
0之前版本，登录FusionInsight Manager，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“完整客户端”，注意平台类型与待安装客户端节点的节点类型相同（x86为x86_64，ARM为aarch64），单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
图7 设置工程资源目录 将工程依赖的jar包添加到类路径。 如果通过开源镜像站方式获取的样例工程代码，在配置好Maven后（配置方式参考配置华为开源镜像仓）， 相关依赖jar包将自动下载，不需手动添加。 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ
ranger.plugin.authorization.enable=false Spark2x中，spark-beeline（即连接到JDBCServer的应用）支持Ranger的IP过滤策略（即Ranger权限策略中的Policy Conditions），spark-submit与spark-sql不支持。
ranger.plugin.authorization.enable=false Spark2x中，spark-beeline（即连接到JDBCServer的应用）支持Ranger的IP过滤策略（即Ranger权限策略中的Policy Conditions），spark-submit与spark-sql不支持。
节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。 否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS
Administrator权限）。如果还需对OBS文件系统中的指定路径进行更加细粒度的权限控制，可参考配置MRS集群用户的OBS的细粒度访问权限创建自定义的角色策略。 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”，例如：mrs_ecs_obs。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
