检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
chrome浏览器以获得更好的体验。 Spark主要有两个Web页面。 Spark UI页面，用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、Stages、Storage、Environment、Executors、SQL、JDBC/ODBC Server等部分。Streami
Loader支持批量导出已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight
Loader支持批量删除已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待删除作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问FusionInsight
> JobGateway > 实例”，查看所有JobServer实例节点IP。 获取部署了JobServer的节点中，IP最小的节点（以下简称“最小IP节点”）。若最小IP节点更新服务客户端失败，执行3， 否则执行4。 若JobServer部署节点IP为：192.168.0.192、192
到降低OBS服务端带宽的作用，利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升HetuEngine的数据读取效率。 前提条件 Guardian服务正常，且已开启存算分离，具体请参考配置Guardian服务对接OBS。 已完成HetuEngine对接OBS，具体请
x及之后版本） 登录FusionInsight Manager。 选择“运维 > 备份恢复 > 恢复管理 > 创建”。 设置“任务名称”。 设置“恢复对象”为“OMS”或需要恢复数据的集群。 在“恢复配置”指定需要恢复的数据。 支持恢复元数据和业务数据。 各组件不同数据的恢复任务操作请参考备份恢复MRS集群数据。
执行程序路径配置为OBS上存放程序的地址。例如：obs://wordcount01/program/hadoop-mapreduce-examples-x.x.x.jar。 执行程序参数中填写的参数为：wordcount obs://wordcount01/input/ obs://wordcount01/output/。
群，可以起到降低OBS服务端带宽的作用，利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升Spark的数据读取效率。 前提条件 Guardian服务正常，且已开启存算分离，具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS，具体请参考配置S
使用Kryo序列化时，需要注册到Kryo的类名，多个类之间用逗号分隔。 - spark.kryo.referenceTracking 当使用Kryo序列化数据时，是否跟踪对同一个对象的引用情况。适用于对象图有循环引用或同一对象有多个副本的情况。否则可以设置为关闭以提升性能。 true
执行程序路径配置为OBS上存放程序的地址。例如：obs://wordcount01/program/hadoop-mapreduce-examples-x.x.x.jar。 执行程序参数中填写的参数为：wordcount obs://wordcount01/input/ obs://wordcount01/output/。
<priority>可以设置为： VERY_HIGH HIGH NORMAL LOW VERY_LOW API接口。 用户也可以使用API配置对象的优先级。 设置优先级，可通过Configuration.set("mapreduce.job.priority", <priority>)或Job
使用Kryo序列化时，需要注册到Kryo的类名，多个类之间用逗号分隔。 - spark.kryo.referenceTracking 当使用Kryo序列化数据时，是否跟踪对同一个对象的引用情况。适用于对象图有循环引用或同一对象有多个副本的情况。否则可以设置为关闭以提升性能。 true
产生告警的主机名。 对系统的影响 当Guardian调用ECS的securitykey接口失败时，可能会导致任务获取访问OBS的临时aksk失败，进而业务无法正常访问OBS。 可能原因 集群未绑定ECS委托。 ECS底层接口异常，导致请求失败。 处理步骤 确认是否绑定委托。 登录MapReduce服务管理控制台。
<priority>可以设置为： VERY_HIGH HIGH NORMAL LOW VERY_LOW API接口。 用户也可以使用API配置对象的优先级。 设置优先级，可通过Configuration.set("mapreduce.job.priority", <priority>)或Job
单击左侧列表中的可在数据库中根据上传的文件创建一个新表，也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作
单击左侧列表中的可在数据库中根据上传的文件创建一个新表，也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作
park等作业的本地临时文件（例如shuffle文件是否过大）、监控Hive、HetuEngine、Spark的关键HDFS目录（不支持OBS）是否过大。对于占用存储资源（本地磁盘或者关键HDFS目录）过大的作业上报事件。 本章节内容仅适用于MRS 3.5.0及之后版本。 监控的HDFS目录请参见表1。
但是有的时候，使用mapPartitions会出现OOM（内存溢出）的问题。因为单次函数调用就要处理掉一个partition所有的数据，如果内存不够，垃圾回收时是无法回收掉太多对象的，很可能出现OOM异常。所以使用这类操作时要慎重！ 使用filter之后进行coalesce操作。 通常对一个RDD执行filter算子
的恢复点。 在“队列名称”填写任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 在“数据配置”选择需要恢复的对象。 单击“校验”，界面显示“校验恢复任务配置成功”。 单击“确定”。 在恢复任务列表已创建任务的“操作”列，单击“执行”，开始执行恢复任务。
15:39:00", "duration" : "2 s", "runningJobs" : [ ], "successedJobs" : [ 0 ], "failedJobs" : [ ] } ], "sqls" : [ { "id" : 0
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
