检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
parameter_name 其值需要被动态添加（add），更新（update）或显示（display）的参数名称。 parameter_value 将要设置的“parameter_name”的新值。 注意事项 以下为分别使用SET和RESET命令进行动态设置或清除操作的属性： 表2 属性描述
Spark WebUI中“Executor”页面支持展示Lost Executor的信息，对于JDBCServer长任务来说，Executor的动态回收是常态，Lost Executor个数太多，会撑爆“Executor”页面，因此需要控制页面显示的Lost Executor个数。 配置描述
parameter_name 其值需要被动态添加（add），更新（update）或显示（display）的参数名称。 parameter_value 将要设置的“parameter_name”的新值。 注意事项 以下为分别使用SET和RESET命令进行动态设置或清除操作的属性： 表2 属性描述
Spark WebUI中“Executor”页面支持展示Lost Executor的信息，对于JDBCServer长任务来说，Executor的动态回收是常态，Lost Executor个数太多，会撑爆“Executor”页面，因此需要控制页面显示的Lost Executor个数。 配置描述
资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 可通过如下方法开启动态资源分配功能，其他相关配置可参考Yarn模式下动态资源调度。 登录FusionInsight
ALM-38017 分区均衡时间超过阈值 告警解释 系统每10分钟（可以通过修改Kafka配置项“auto.reassign.check.interval.ms”调整）周期性检测，扩容新的Broker后触发的分区均衡时间超过阈值（默认为1440分钟，可以通过修改Kafka配置项“reassignment
实例动态扩缩容存在一定滞后性，旨在实现长时间周期内资源消耗的平滑调整，不能实时响应当前正在运行SQL任务对可用资源的需求。 实例进行动态扩缩容后，HSConsole页面上实例配置处显示的Worker个数会保持初始设置的值，不随动态扩缩容个数变化而改变。 实例开启动态扩缩容后，
ALM-12192 主机负载超过阈值 告警解释 系统每30秒周期性检测平均负载，并把实际平均负载和阈值相比较。当检测到平均负载连续多次（默认值为10）超出阈值范围时产生该告警。 平滑次数为1，平均负载小于或等于阈值时，告警恢复；平滑次数大于1，平均负载小于或等于阈值的90%时，告警恢复。
NodeManager关闭导致Executor(s)未移除 问题 在Executor动态分配打开的情况下，如果在任务执行过程中，执行NodeManager关闭动作，NodeManager关闭节点上的Executor(s)在空闲超时之后，在driver页面上未被移除。 回答 因为R
节点内DataNode磁盘使用率不均衡 问题背景与现象 单个节点内DataNode的各磁盘使用率不均匀。 例如： 189-39-235-71:~ # df -h Filesystem Size Used Avail Use% Mounted on /dev/xvda 360G
工具无缝对接。 FE 主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 BE 主要负责存储数据、执行查询计划、副本负载均衡。 Leader Leader为Follower组中选举出来的一种角色。 Follower 一条元数据日志需要在多数Follower节点写入成功，才算成功。
Scheduler模式下，删除租户的时候，只是把租户队列的容量设置为0，并且把状态设为“STOPPED”，但是队列在Yarn的服务里面仍然残留。由于Yarn的机制，无法动态删除队列，管理员可以执行命令手动清除残留的队列。 对系统的影响 脚本运行过程中会重启controller服务，同步Yarn的配置，并重启主备ResourceManager实例。
Manager，单击“租户资源”。 单击“动态资源计划”页签。 单击“全局用户策略”页签。 在指定用户策略所在行，单击“操作”列中的“修改”。 调整相关参数后，单击“确定”。 删除策略 在FusionInsight Manager，单击“租户资源”。 单击“动态资源计划”页签。 单击“全局用户策略”页签。
NodeManager关闭导致Executor(s)未移除 问题 在Executor动态分配打开的情况下，如果在任务执行过程中，执行NodeManager关闭动作，NodeManager关闭节点上的Executor(s)在空闲超时之后，在driver页面上未被移除。 回答 这是因
配置Spark事件队列大小 配置场景 Spark中见到的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中，Dr
配置Spark事件队列大小 配置场景 Spark中的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中，Driv
高可用HA部署架构 MRS服务提供了基于ELB的HA部署架构，可以将用户访问流量自动分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。如图3所示，客户端应用请求集群时，使用ELB（Elastic Load Balance）来进行流量分发，通过ELB的轮询机制，写不同节点上的本地表（Local
Storm样例程序开发思路 通过典型场景，可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下： 数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。
ive操作权限的用户。 配置Hive SQL防御使用约束 防御规则默认动态生效时间为5秒，修改队列后Hive防御规则重新加载时间为10分钟。 拦截和熔断规则会中断SQL任务，请根据实际业务配置合理的值。 动态规则dynamic_0001（SQL语句扫描的文件数超过阈值），当Spa
Storm样例程序开发思路 通过典型场景，用户可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下： 数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
