检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-45328 Presto Worker进程垃圾收集时间超出阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每30s周期性采集Presto Worker进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警；当Worker
SQL防御概述 当前大数据领域的SQL引擎层出不穷，在带给解决方案多样性的同时，也暴露出一定的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。 SQL防御功能仅MRS
配置HetuEngine智能物化视图能力 HetuEngine智能物化视图概述 基于智能物化视图，HetuEngine可以提供智能预计算与缓存加速能力。HetuEngine QAS角色能够自动提取历史SQL语句进行分析学习，基于收益最大化原则自动生成高价值物化视图的候选SQL。在
在Linux中调测Presto应用开发 JDBC客户端运行及结果查看 执行mvn clean compile assembly:single生成jar包，在工程目录target目录下获取，比如:presto-examples-1.0-SNAPSHOT-jar-with-dependencies
Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java
ALM-29013 Impalad FGCT超过阈值 告警解释 系统每60秒周期性检测Impalad服务的FGC时间，当检测到的FGC时间超出阈值(连续5次检测超过12秒)时产生该告警，当FGC时间小于或等于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 29013
Spark并发写Hudi建议 涉及到并发场景，推荐采用分区间并发写的方式：即不同的写入任务写不同的分区 分区并发参数控制： SQL方式： set hoodie.support.partition.lock=true; DataSource Api方式： df.write .format("hudi")
IAM同步 功能介绍 将IAM用户和用户组同步到manager，指定用户的情况下，会将该用户关联的IAM用户组也同步到manager。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/iam-sync-user
IoTDB JDBC样例程序 功能简介 通过JDBC连接方式，执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.iotdb.JDBCExample”类。 其中，在jdbc url里设置待连接的IoTDBServer所在的节点IP、端口、用户名和密码。
ALM-17007 Oozie进程垃圾回收（GC）时间超过阈值 告警解释 系统每60秒周期性检测Oozie进程的垃圾回收（GC）占用时间，当检测到Oozie进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。垃圾回收（GC）时间小于阈值时，告警恢复。 告警属性 告警ID
ALM-45586 IoTDBServer堆内存使用率超过阈值 告警解释 系统每60秒周期性检测IoTDBServer进程堆内存使用状态，当检测到IoTDBServer进程堆内存使用率超出阈值（最大内存的90%）时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 45586
配置AM自动调整分配内存 配置场景 启动该配置的过程中，ApplicationMaster在创建container时，分配的内存会根据任务总数的浮动自动调整，资源利用更加灵活，提高了客户端应用运行的容错性。 配置描述 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称
提交Storm拓扑后Worker日志为空 现象描述 在Eclipse中远程提交拓扑成功之后，无法在Storm WebUI查看拓扑的详细信息，并且每个拓扑的Bolt和Spout所在Worker节点在一直变化。查看Worker日志，日志内容为空。 可能原因 Worker进程启动失败，
调测Kafka Producer样例程序 前提条件 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问安全模式集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resourc
ALM-45338 Presto Worker4进程垃圾收集时间超出阈值 告警解释 系统每30s周期性采集Presto Worker4进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 服务 > Presto”修改阈值，当
Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展，当集群规模不符合业务要求时，用户可以通过该功能进行集群节点规模的调整，进行扩容或者缩容；在缩容节点时，MRS会智能地选择负载最少或者迁移数据量最小节点，并且在缩容过程中，缩容节点不再接收新的任务，正在执行
MRS安全认证原理和认证机制 功能 开启了Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止
IAM用户同步MRS集群说明 IAM用户同步是指将绑定MRS相关策略的IAM用户同步至MRS系统中，创建同用户名、不同密码的账号，用于集群管理。同步之后，用户可以使用IAM用户名（密码需要Manager的管理员admin重置后方可使用）登录Manager管理集群。也可以在开启Ke
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
