检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试? 回答 以调试SparkPi程序为例,演示如何进行IDEA的远程调试。 打开工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”号
退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理? 问题 退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理? 回答 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击
ALM-12037 NTP服务器异常(2.x及以前版本) 告警解释 当NTP服务器异常时产生该告警。 当NTP服务器异常消除时,该告警恢复。 告警属性 告警ID 告警级别 可自动清除 12037 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。
使用代理用户提交Spark作业 本章节仅适用MRS 3.3.0及之后版本。 场景说明 提交Spark任务时,用户可以使用当前实际运行用户提交任务,也可以使用代理用户提交任务。本章节介绍如何开启代理用户提交任务。 前提条件 创建用户,登录Manager页面,选择“系统 > 权限 >
退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理? 问: 退订MRS集群后,在ECS中退订弹性云服务器时报异常如何处理? 答: 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“
访问MRS集群Manager(2.x及之前版本) 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问
ALM-29000 Impala服务不可用 告警解释 以30s为周期检测Impala服务状态,当检测到Impala服务异常时,系统产生此告警。 当系统检测到Impala服务恢复正常,或告警处理完成时,告警解除。 告警属性 告警ID 告警级别 是否可自动清除 29000 紧急 是 告警参数
ALM-45425 ClickHouse服务不可用 告警解释 告警模块按60秒周期检测ClickHouse实例状态,当检测到所有ClickHouse实例异常时,系统产生此告警。 当系统检测到任一ClickHouse实例恢复正常,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别
主机安全 MRS支持与公有云安全服务集成,支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等。
Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:
配置HetuEngine使用代理用户鉴权 适用于MRS 3.3.0及以后版本。 HetuEngine支持使用FusionInsight Manager用户认证时通过客户自有用户(代理用户)使用Ranger鉴权的能力。即在使用HetuEngine客户端时,通过--session-user
例如,只要计算每日每个用户浏览了多少次网页,就可以通过累加的方式,去计算每周、每年对应的数据,类似于通过汇总每日收入来计算每周收入。 可以将approx_distinct()与GROUPING SETS一起使用转换为HyperLogLog。
HDFS的DataNode一直显示退服中 用户问题 HDFS的DataNode一直显示退服中。 问题现象 HDFS的某个DataNode退服(或者对Core节点进行缩容)任务失败,但是DataNode在任务失败后一直处于退服中的状态。 原因分析 在对HDFS的某个DataNode进行退服
如何在MRS集群中手动添加组件? 问:如何在已创建好的MRS集群中手动添加服务? 答: 已经创建的MRS 3.1.0及之前版本集群不支持安装新的组件。如果需要使用当前集群未安装的组件,则需要重新创建一个集群,并且选择所需要的组件。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持手动添加组件
启动停止MRS集群组件 用户可以根据需要对MRS集群内的服务组件进行停止操作,停止后组件将不再对外提供服务。 停止不再使用或异常的服务。 启动操作状态为“已停止”、“停止失败”或“启动失败”的服务,以重新使用该服务。 重启异常或配置过期的服务,以恢复或生效服务功能。 操作MRS集群前提条件
ALM-27001 DBService服务不可用(2.x及以前版本) 告警解释 告警模块按30秒周期检测DBService服务状态。当DBService服务不可用时产生该告警。 DBService服务恢复时,告警清除。 告警属性 告警ID 告警级别 可自动清除 27001 致命 是
ALM-18000 Yarn服务不可用 告警解释 告警模块按60秒周期检测Yarn服务状态。当检测到Yarn服务不可用时产生该告警。 Yarn服务恢复时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称
ALM-16005 Hive服务进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测Hive堆内存使用率,并把实际的Hive堆内存使用率和阈值相比较。当Hive堆内存使用率超出阈值(默认为最大堆内存的95%)时产生该告警。 用户可通过“运维 >告警 > 阈值设置 > 待操作集群的名称
HTML输入:HTML网页数据输入步骤,配置获取HTML网页文件目标数据到指定字段。 Hive输入:Hive表输入步骤,配置Hive表的列定义到指定字段。 Spark输入:SparkSQL表输入步骤,配置SparkSQL表的列定义到指定字段。仅支持存取Hive数据。
管理MRS集群租户 MRS多租户简介 MRS多租户使用流程 配置MRS租户 管理MRS租户资源 切换MRS租户资源调度器 父主题: 管理MRS集群