检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Spark应用程序运行情况。 Spark主要有两个Web页面。 Spark UI页面，用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。
M的默认值为4。 n倍：参数“metrics.reporter.alarm.job.alarm.rocksdb.background.jobs.multiplier”的值，默认值2。 告警属性 告警ID 告警级别 是否可自动清除 45646 次要 是 告警参数 参数名称 参数含义
M的默认值为4。 n倍：参数“metrics.reporter.alarm.job.alarm.rocksdb.background.jobs.multiplier”的值，默认值2。 告警属性 告警ID 告警级别 是否可自动清除 45645 次要 是 告警参数 参数名称 参数含义
<priority>可以设置为： VERY_HIGH HIGH NORMAL LOW VERY_LOW API接口。 用户也可以使用API配置对象的优先级。 设置优先级，可通过Configuration.set("mapreduce.job.priority", <priority>)或Job
创建或者编辑Loader作业时，在配置SFTP路径、HDFS/OBS路径、SQL的Where条件等参数时，可以使用宏定义，具体请参考Loader算子配置项中使用宏定义章节。 表2 输入配置参数一览表 源文件类型 参数名 解释说明 HDFS/OBS 输入目录 从HDFS/OBS导出时的输入路径。 路径过滤器 配
多租户资源管理 特性简介 现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足： 不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。 部分用户（例如银行、政府单位等）对数据安全非常关注，不接受将自己的数据与其他用户放在一起。
“目标NameService名称”：选择备份目录对应的目标NameService名称。默认值为“hacluster”。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “源端路径”：填写备份文件在OBS中保存的完整路径。例如，“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
足的现象。 规避措施： 根据业务需要，配置合适的需要保留的Job和Stage的UI数据个数，即配置“spark.ui.retainedJobs”和“spark.ui.retainedStages”参数。详细信息请参考常用参数中的表13。 如果需要保留的Job和Stage的UI数据个数较多，可通过配置“spark
Manager页面的区别和联系请参考下表： 常用操作 MRS Console FusionInsight Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、IAM用户同步 支持 不支持 新增节点组、扩容、缩容、升级规格 支持 不支持 隔离主机、启动所有角色、停止所有角色 支持
ID = root_20160716174218_90f55869-000a-40b4-a908-533f63866fed Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since
的日期格式定义可参考“java.text.SimpleDateFormat.java”中的定义，但需要遵循目标系统的约束，例如HDFS/OBS目录不支持特殊符号等。 Loader宏定义 目前Loader默认支持以下时间宏定义： 表1 Loader常用宏定义 名称 替换后效果 说明
的日期格式定义可参考“java.text.SimpleDateFormat.java”中的定义，但需要遵循目标系统的约束，例如HDFS/OBS目录不支持特殊符号等。 Loader宏定义 目前Loader默认支持以下时间宏定义： 表1 Loader常用宏定义 名称 替换后效果 说明
足的现象。 规避措施： 根据业务需要，配置合适的需要保留的Job和Stage的UI数据个数，即配置“spark.ui.retainedJobs”和“spark.ui.retainedStages”参数。详细信息请参考Spark常用配置参数中的表13。 如果需要保留的Job和Sta
“单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 OBS 表示从OBS中恢复数据，仅MRS 3.3.0-LTS.1及之后版本支持。 选择此参数值，还需要配置以下参数： “源端路径”：填写备份文件在OBS中保存的完整路径。例如：“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
单击弹性公网IP后边的“添加安全组规则”，如图3所示。 图3 集群详情 进入“添加安全组规则”页面，添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对象是可信任的公网访问IP范围，禁止使用0.0.0.0/0,否则会有安全风险。”如图4所示。 图4 添加安全组规则 默认填充的是用户访问公网的
查询历史”，打开备份任务执行历史记录。 在弹出的窗口中，在指定一次执行成功记录的“备份路径”列，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight
请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题： MRS集群告警处理参考
件的基本操作流程： 通过集群安全认证。 创建FileSystem对象：fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象：out，使用out的write方法写入数据。 调用fSystem
备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “源端路径”：填写备份文件在OBS中保存的完整路径。例如，“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
“单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“1”。 “OBS”：表示将备份文件保存在OBS中（仅MRS 3.5.0及之后版本支持）。 选择此参数值，还需要配置以下参数： “源端路径”：填写备份文件在OBS中保存的完整路径。例如，“备份路径/xxx/备份任务名_数据源_任
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
