检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
deserializer.maxBatchLine 1 按行解析最多行数，如果行数设置为多行，“maxLineLength”也应该设置为相应的倍数。例如maxBatchLine设置为2，“maxLineLength”相应的设置为2048*2为4096。
若集群中Core节点数大于等于3，则HDFS默认副本数为3。 图3 HDFS架构 MRS支持HDFS组件上节点均衡调度和单节点内的磁盘均衡调度，有助于扩容节点或扩容磁盘后的HDFS存储性能提升。
false Map数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。 20 Map数据块大小 ClickHouse不支持此参数，请配置“Map数”。 - 个数 Map任务的个数。 - 单击“保存并运行”，开始保存并运行作业。
可能原因 HBase RegionServer数太少。 HBase 单个RegionServer上Region数过多。 HBase RegionServer堆大小较小。 资源不足。 相关参数配置不合理。
使能容错机制时建议将作业的Map数设置为大于等于3，推荐在作业数据量大的场景下使用。
表1 参数说明 参数 描述 默认值 spark.history.retainedApplications HistoryServer缓存的Spark应用数，当需要缓存的应用个数超过此参数值时，HistoryServer会回收最先缓存的Spark应用。
deserializer.maxBatchLine 1 按行解析最多行数，如果行数设置为多行，maxLineLength也应该设置为相应的倍数。 说明： 用户设置Interceptor时，需要考虑多行合并后的场景，否则会造成数据丢失。
登录华为云管理控制台，在服务列表中选择“网络 > 弹性负载均衡 ELB”。 在“负载均衡器”界面右上方单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面，配置以下参数，其他参数保持默认即可： 实例类型：选择“共享型”。 计费模式：选择“按需计费”。
节点数 对应节点组中包含的节点数量。 付费类型 显示购买集群时的付费类型，包含“按需计费”和“包年/包月”。 通过Manager页面查看节点状态（MRS 3.x及之后版本） 登录FusionInsight Manager。 单击“主机”，查看主机列表信息。
一批次写入的数据，对应的分区数太多。ClickHouse建表之后insert batch时，会对不同的分区创建一个目录。
default.test*:10 spark.prequery.maxThreads 预热时并发的最大线程数 50 spark.prequery.sslEnable 集群安全模式为true，非安全模式为false true spark.prequery.driver JDBCServer
kinitKafka用户 创建一个Topic： sh kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份个数 --zookeeper ZooKeeper角色实例所在节点
/kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka .
可以查看主题的分区数和备份数。 在主题列表单击指定主题的名称，可查看详细信息。 如果执行过以下几种操作： Kafka或者Zookeeper进行过扩容或缩容操作。 Kafka或者Zookeeper增加或者删除过实例。 重装Zookeeper服务。
表1 参数说明 参数 描述 默认值 spark.history.retainedApplications HistoryServer缓存的Spark应用数，当需要缓存的应用个数超过此参数值时，HistoryServer会回收最先缓存的Spark应用。
testdb1.testtb1 thread_num 并发导入线程数。 10 data_format 待导入数据的格式。 CSV is_security_cluster 是否为安全模式集群。
触发该条件的指标阈值，只允许输入整数或者带两位小数的数。 约束限制： 不涉及 取值范围： 只允许输入整数或者带两位小数的数。 默认取值： 不涉及 comparison_operator 否 String 参数解释： 指标判断逻辑运算符。
表1 参数说明 参数 描述 默认值 spark.history.retainedApplications HistoryServer缓存的Spark应用数，当需要缓存的应用个数超过此参数值时，HistoryServer会回收最先缓存的Spark应用。
/setNorthBound.sh -t 信息类型 -i 远程服务器IP -p 服务器使用的SFTP或FTP端口 -u 用户名 -d 保存信息的路径 -c 时间间隔（分钟） -m 每个保存文件的信息记录数 -s 备份启停开关 -e 指定的协议 例如： .
“dfs.namenode.safemode.threshold-pct”参数表示DataNode上报的块达到总块数的百分比阈值，达到该阈值时NameNode会自动退出安全模式，该值设置过低可能导致在集群启动阶段存在大量副本复制。 该功能适用于MRS 3.5.0及之后版本。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
