检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取指定目录文件列表 功能介绍 在MRS集群中获取指定目录文件列表。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/files 表1 路径参数 参数 是否必选 参数类型 描述 project_id
如何修改开源组件Web页面会话超时时间？ 问： 如何修改开源组件Web页面会话超时时间？ 答： 合理设置Web页面超时时间，可以避免由于Web页面长时间暴露造成的信息泄露。 确定集群是否支持调整会话时长。 MRS 3.x之前版本集群：在集群详情页面，选择“组件管理 > meta >
producer.SyncProducer) 通过异常信息，发现当前Consumer无法从Kafka Broker 192-168-234-231节点获取元数据，导致无法连接正确的Broker获取消息。 检查网络是否存在问题，如果网络没有问题，检查是否配置主机和IP的对应关系 Linux
从外部存储（例如HDFS）导入数据时，由于目录下文件过多，导致列出文件目录超时。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置 > 全部配置 > FE（角色） > 自定义”，新增自定义参数“broker_timeout_ms”，默认值为1
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。
e”，根据系统当前时间计算任务已执行的时间。查看已执行的时间是否大于超时时间。 是，执行4。 否，执行10。 请根据业务合理评估任务的预期执行时间，并与任务的超时时间对比。若超时时间设置过小，请设置客户端的超时时间（“mapreduce.application.timeout.alarm”或“spark
修改Manager页面超时时间 FusionInsight Manager支持配置Manager页面超时时间，方便用户根据自身业务情况，自定义调整超时时间，但需合理设置Web页面超时时间，避免由于Web页面长时间暴露造成的信息泄露。 该功能仅MRS 3.3.0及之后版本集群支持。
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.F
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.F
调整Hive元数据超时 大分区表包含过多分区，导致任务超时，同时大量分区可能需要更多时间来加载与元存储缓存同步。因此，为了在更大规模存储中获得更好的性能，建议相应地调整加载元数据缓存最大超时时间和加载元数据连接池最大等待时间。 使用HetuEngine管理员用户登录FusionInsight
Hive客户端执行SQL报错连接超时 现象描述 Hive客户端执行SQL失败，报错：Timed out waiting for a free available connection。 可能原因 DBService连接较多，获取连接超时。 操作步骤 客户端是否使用Spark-SQL客户端执行SQL。
_context; 600525ms exceeds 600000ms 原因分析 MetaStore客户端连接超时，MRS默认MetaStore客户端和服务端连接的超时时间是600s，在Manager页面调大“hive.metastore.client.socket.timeout”为“3600s”。
Manager界面超时退出后无法正常登录 现象描述 MRS Manager超时退出后偶现无法正常登录访问页面。 可能原因 超时后页面的js及css文件未加载成功。 操作步骤 清除浏览器缓存。 刷新当前页面即可正常登录及访问。 父主题： 登录集群Manager常见异常问题
获取账号ID 在调用接口的时候，部分URL中需要填入账号ID（domain-id），所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下： 登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题： 附录
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。
timeout=xxx ms 原因分析 由于导入数据时BE打开tablet writer操作可能涉及多个分片内存块的写盘操作，导致RPC超时，可以适当调整该RPC超时时间减少超时错误。 操作步骤 登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置 > 全部配置”
配置DBService备份任务超时时间 操作场景 针对DBService备份任务执行的默认超时时间为2小时，在DBService中数据量过大时，任务执行时间会超过2小时导致备份任务执行失败。 该操作指导用户调整DBService备份任务的超时时间。 前提条件 DBService服务运行正常。
MapReduce任务异常，临时文件未删除 用户问题 MapReduce任务异常临时文件为什么没有删除？ MR任务即MapReduce任务，关于MapReduce介绍请参考MapReduce。 问题现象 HDFS临时目录文件过多，占用内存。 原因分析 MapReduce任务提交时会将相关配置文件、jar
HMaster等待NameSpace表上线时超时退出 问题 为什么在等待namespace表上线时超时HMaster退出？ 回答 在HMaster主备倒换或启动期间，HMaster为先前失败/停用的RegionServer执行WAL splitting及region恢复。 在后台
ALM-12207 慢盘处理超时 告警解释 当慢盘检测开关打开时，系统默认每隔10分钟检测一次慢盘处理情况，当磁盘或者节点处于如下状态且超过10小时状态未发生变更，则认为磁盘或者节点处理超时，上报该告警。 磁盘：自动隔离中止、已隔离、隔离失败、解除隔离失败。 节点：已隔离、隔离失
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
