检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决ClickHouse banlance服务日志中打印ClickHouse用户明文密码的问题。 解决ClickHouse内存越界导致服务重启的问题。 解决ClickHouse磁盘健康场景数据盘误被隔离的问题。 解决ClickHouse并发任务导致服务无响应、优化健康监控细分支持亚健康精监测等场景的问题。
WebUI时，界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象 为什么DataNode无法正常上报数据块 是否可以手动调整DataNode数据存储目录 DataNode的容量计算出错如何处理
解决Kudu和Impala客户端过大的问题 解决Impala开启Ldap后上报服务亚健康检查告警的问题 解决Impala并发把资源池打满，导致服务健康检查失败，Impalad实例重启的问题 Knox支持@符号转化成中划线，支持邮箱形式账号提交作业 解决Hudi的bucket(col,N)函数不支
Executor堆内存参数 使用External Shuffle Service提升Spark Core性能 配置Yarn模式下Spark动态资源调度 调整Spark Core进程参数 Spark DAG设计规范说明 经验总结 父主题： 使用Spark/Spark2x
ClickHouse运维管理 ClickHouse日志介绍 收集ClickHouse系统表转储日志 配置ClickHouse表为只读表模式 集群内ClickHouseServer节点间数据迁移 迁移MRS集群内ClickHouse数据至其他MRS集群 扩容ClickHouse节点磁盘
使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略（NodeLabel）
据恢复等内容。 Hadoop数据迁移到华为云MRS服务 本实践使用华为云CDM服务将Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 HBase数据迁移到华为云MRS服务 本实践使用华为云CDM服务将HBase集群中的数据（支持数据量在
MRS Fastjson漏洞修复指导 简介 影响范围 修复Manager Web 修复Manager Controller 修复Manager nodeagent 修复Kafka 修复Flink 父主题： 漏洞公告
group.id：Kafka的使用者组ID，Kafka作为source时必选。 系统域名：可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。 查看作业管理界面，作业状态为“运行中”。 参考管理Kafka Top
明细账单”，在“统计维度”选择“按资源名称/ID”。 查看指定资源ID的MRS集群服务管理费 在筛选条件中选择“产品类型 > MapReduce服务 MRS”，输入2查询到的集群节点ID，单击图标即可搜索该资源的服务管理费用。 图2 查看指定资源ID的MRS集群服务管理费 查看指定资源ID的IaaS
配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优 MapReduce日志介绍 MapReduce常见问题
默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block.size par
配置MRS集群静态资源 当需要控制集群服务可以使用节点资源的情况，或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时，集群管理员可以在Manager调整资源基数，并自定义资源配置组。 对系统的影响 配置静态服务池后，受影响的服务的配置状态将配置过期，需要重启服务，重启期间服务不可用。
Kafka开发应用时，需要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ
集群互信管理 MRS集群互信概述 修改MRS集群系统域名 配置MRS集群间互信 配置互信MRS集群的用户权限 父主题： MRS集群安全配置
MRS集群内用户绑定了多个队列时，系统在提交任务时会随机选择队列，建议合理设置用户的队列权限，最好一个用户只绑定一个队列。 如果客户必须绑定多个队列时，可通过配置全局用户策略指定某用户的默认提交队列。 以MRS 3.x版本集群为例，登录集群Manager界面，单击“租户资源”。 单击“动态资源计划 > 全局用户策略
SQL和DataFrame Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache table使用指导 Repar
WebUI时，界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象 为什么DataNode无法正常上报数据块 是否可以手动调整DataNode数据存储目录 DataNode的容量计算出错如何处理
图解MapReduce服务
Core调优 数据序列化 配置内存 设置并行度 使用广播变量 使用External Shuffle Service提升性能 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题： Spark应用调优
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
