正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
true Map数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 Map数据块大小 HBase不支持此参数,请配置“Map数”。
true Map数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000,建议以FTP服务器当前最大连接数作为其取值。 20 Map数据块大小 HBase不支持此参数,请配置“Map数”。
触发该条件的指标阈值,只允许输入整数或者带两位小数的数。 约束限制: 不涉及 取值范围: 只允许输入整数或者带两位小数的数。 默认取值: 不涉及 comparison_operator 否 String 参数解释: 指标判断逻辑运算符。
shuffle设置 对于合并功能,可粗略估计合并前后分区数的变化: 一般来说,旧分区数>新分区数,可设置shuffle为false;但如果旧分区远大于新分区数,例如高于100倍以上,可以考虑设置shuffle为true,增加并行度,提高合并的速度。
日志归档是通过Hadoop Archives功能实现的,Hadoop Archives启动的并行归档任务数(Map数)与待归档的日志文件总大小有关。计算公式为:并行归档任务数=待归档的日志文件总大小/归档文件大小。
日志归档是通过Hadoop Archives功能实现的,Hadoop Archives启动的并行归档任务数(Map数)与待归档的日志文件总大小有关。计算公式为:并行归档任务数=待归档的日志文件总大小/归档文件大小。
加速Merge,需要调整如下参数,请参考加速Merge操作: 配置项 参考值 max_threads CPU核数*2 background_pool_size CPU核数 merge_max_block_size 8192的整数倍,根据CPU内存资源大小调整 cleanup_delay_period
加速Merge,需要调整如下参数,请参考加速Merge操作: 配置项 参考值 max_threads CPU核数*2 background_pool_size CPU核数 merge_max_block_size 8192的整数倍,根据CPU内存资源大小调整 cleanup_delay_period
Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略(NodeLabel) 配置NameNode内存参数 设置HBase和HDFS的句柄数限制
shuffle设置 对于合并功能,可粗略估计合并前后分区数的变化: 一般来说,旧分区数>新分区数,可设置shuffle为false;但如果旧分区远大于新分区数,例如高于100倍以上,可以考虑设置shuffle为true,增加并行度,提高合并的速度。
true Map数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000,建议以FTP服务器当前最大连接数作为其取值。 20 Map数据块大小 HBase不支持此参数,请配置“Map数”。
表1 指标含义 指标 指标含义 Running Queries 当前实例并发执行的任务 Active Workers 当前实例中的有效Worker数量 ROWS/SEC 当前实例每秒处理的数据行数 Queued Queries 当前实例中等待队列中等待执行的任务数 RUNNABLE
所有创建过的节点组,若节点数不为0都将克隆,克隆的节点数以记录的最新/最终节点数为准。 克隆集群时不修改原集群已勾选的组件、不改变集群类型,将按照默认克隆模板克隆原集群节点组和拓扑信息。如增删组件,修改集群类型,将无法使用默认克隆模板,请在系统自动生成的基础信息上进行设置。
bigint,如将3进制数'200' 转为十进制数 select from_base('200',3);--18 hex(bigint|string|binary x) -> string 如果x为int或二进制形式,则十六进制格式数字以string类型返回。
表2 Loader作业运行属性 参数 说明 抽取并发数 设置map任务的个数。 加载(写入)并发数 设置reduce任务的个数。 该参数只有在目的字段为Hbase和Hive时才会显示。
Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略(NodeLabel) 配置NameNode内存参数 设置HBase和HDFS的句柄数限制
true hive.metastore.server.min.threads MetaStore启动的用于处理连接的线程数,如果超过设置的值之后,MetaStore就会一直维护不低于设定值的线程数,即常驻MetaStore线程池的线程会维护在指定值之上。
如果退服前,DataNode节点的机架数(机架数由各DataNode节点所配置的“机架”的名称数量决定)大于1;而退服部分DataNode后,剩余的DataNode节点的机架数变为1,则此次退服将会失败。
true spark.sql.dropPartitionsInBatch.limit 支持批量删除的最大分区数。 1000 父主题: Spark SQL企业级能力增强
四分位数,十分位数,百分位数等,意味将输入集合均分为对应等份,然后找到大约位于该位置的数值。