正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表2 常用信息 参数 参数描述 appsSubmitted 已经提交的任务数。 appsCompleted 已经完成的任务数。 appsPending 正在挂起的任务数。 appsRunning 正在运行的任务数。 appsFailed 已经失败的任务数。
/kafka 删除主题 sh kafka-topics.sh --delete --topic 主题名称 --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 主题分区数和主题备份个数不能大于Kafka角色实例数量。
因此建议根据集群中的NodeManager节点的CPU核数适当调整Direct buffer Memory,例如在CPU核数为40时,将Direct buffer Memory配置为512M。
10 hoodie.keep.max.commits 触发归档操作的commit数阈值 30 hoodie.keep.min.commits 归档操作保留的commit数。
在“抽取并发数”填写map任务的个数。 在“加载(写入)并发数”填写reduce任务的个数。 目的连接为HDFS连接时,不显示“加载(写入)并发数”参数。 “单个分片的最大错误记录数”填写错误记录阈值。
clickhouse.zookeeper.quota.size Xmx最大内存数/4GB * 1G ClickHouse在ZooKeeper上的顶层目录的容量配额。
clickhouse.zookeeper.quota.size Xmx最大内存数/4GB * 1G ClickHouse在ZooKeeper上的顶层目录的容量配额。
表2 常用信息 参数 参数描述 appsSubmitted 已经提交的任务数。 appsCompleted 已经完成的任务数。 appsPending 正在挂起的任务数。 appsRunning 正在运行的任务数。 appsFailed 已经失败的任务数。
因此建议根据集群中的NodeManager节点的CPU核数适当调整Direct buffer Memory,例如在CPU核数为40时,将Direct buffer Memory配置为512M。
表1 Loader作业运行属性 参数 说明 抽取并发数 设置map任务的个数。 加载(写入)并发数 设置reduce任务的个数。 该参数只有在目的字段为Hbase和Hive时才会显示。
对于“每个YARN容器最多分配核数”、“每个YARN容器最大分配内存(MB)”、“最多运行任务数”、“每个用户最多运行任务数”和“最多挂起任务数”等参数,为便于操作,当子租户值为-1时,父租户值可以设置为具体限制值;当父租户设置为具体限制值时,子租户可以设置为-1。
表1 参数说明 参数 描述 默认值 dfs.datanode.failed.volumes.tolerated DataNode停止提供服务前允许失败的卷数。默认情况下,必须至少有一个有效卷。值-1表示有效卷的最小值是1。大于等于0的值表示允许失败的卷数。
Batch 使用Scan调用next接口每次最大返回的记录数,与一次读取的列数有关。 Caching RPC请求返回next记录的最大数量,该参数与一次RPC获取的行数有关。 父主题: HBase数据读写示例程序
登录MRS集群的FusionInsight Manager界面,单击“集群 > 服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer > 系统”,调整“GC_OPTS”参数:-Xmx最大内存数GB。
表1 参数说明 参数 描述 默认值 dfs.datanode.failed.volumes.tolerated DataNode停止提供服务前允许失败的卷数。默认情况下,必须至少有一个有效卷。值-1表示有效卷的最小值是1。大于等于0的值表示允许失败的卷数。
可以设置Batch和Caching关键参数: Batch:使用Scan调用next接口每次最大返回的记录数,与一次读取的列数有关。 Caching:RPC请求返回next记录的最大数量,该参数与一次RPC获取的行数有关。 父主题: HBase数据读写样例程序
Batch 使用Scan调用next接口每次最大返回的记录数,与一次读取的列数有关。 Caching RPC请求返回next记录的最大数量,该参数与一次RPC获取的行数有关。 父主题: 开发HBase应用
二级跳数索引设计 跳数索引使用参考: 使用说明 对于*MergeTree引擎,支持配置跳数索引,即一种数据局部聚合的粗糙索引,对数据块创建索引,选择性的保留一部分原始数据(minmax、set), 或者是保留计算后的中间数据(bloomfilter)。
文件分割方式 支持以下两种: File:按总文件个数分配map任务处理的文件数量,计算规则为“文件总个数/抽取并发数”。 Size:按文件总大小分配map任务处理的文件大小,计算规则为“文件总大小/抽取并发数”。
用于指定某个表的数据发送到指定的Topic中,开启多分区功能后需要配置Topic的分区数,分区数必须大于1。数据过滤时间用于过滤数据,当源端数据的时间小于设定时间时,该数据将会被丢弃,当源端数据的时间大于设定时间时,该数据发送到下游。