检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZooKeeper常见规格 指标名称 规格 说明 单集群ZooKeeper最大实例数 9 ZooKeeper最大实例数 每个ZooKeeper实例,单个IP最大连接数 2000 - 每个ZooKeeper实例,最大连接总数 20000 - 默认参数情况下,最大ZNode数 2000000 ZN
该参数只有在目的字段为Hbase和Hive时才会显示。 单个分片的最大错误记录数 设置一个错误阈值,如果单个map任务的错误记录超过设置阈值则任务自动结束,已经获取的数据不回退。 说明: “generic-jdbc-connector”的“MYSQL”和“MPPDB”默认批量读写数据,每一批次数据最多只记录一次错误记录。
Keeper地址可通过登录MRS Manager然后选择“服务管理 > ZooKeeper > 实例”,查看ZooKeeper实例的“管理IP”地址获取。 jdbc:hive2://xx.xx.xx.xx:2181,xx.xx.xx.xx:2181,xx.xx.xx.xx:218
zookeeperuser。 直接执行Zookeeper组件的客户端命令。 zkCli.sh -server <zookeeper安装节点ip>:<port> 例如:zkCli.sh -server node-master1DGhZ:2181 <port>可在ZooKeeper的
证凭据并替换旧凭据。 修改admin用户密码 通过Manager页面修改admin用户密码: 开启Kerberos认证的集群和开启弹性公网IP功能未开启Kerberos认证的集群支持通过Manager界面修改admin密码。 使用admin账户登录Manager页面。 MRS 2
Manager将根据集群硬件资源与分配情况,生成资源池实际参数配置值。 单击“确定”。 在弹出窗口单击“确定”,确认保存配置。 添加自定义资源配置组 是否需要在不同时间段自动调整资源配置? 是,执行9。 否,只需要使用“default”在所有时间段生效,任务结束。 单击“配置”,修改“系统资源调整基数”,然后单击“下一步”。
应用类型 描述 carbon.enable.auto.load.merge false Minor 数据加载时启用合并。 “true”:数据加载时自动触发segment合并。 “false”:数据加载时不触发segment合并。 carbon.compaction.level.threshold
表示目录或文件的属主。 组 表示目录或文件的属组。 权限 表示目录或文件的权限设置。 日期 表示目录或文件创建时间。 在搜索框输入关键字,系统会在当前目录自动搜索目录或文件。 清空搜索框的内容,系统会重新显示所有目录和文件。 执行动作 在“文件浏览器”界面,勾选一个或多个目录或文件。 单击“操作”,在弹出菜单选择一个操作。
compaction&cleaning配置 参数 描述 默认值 hoodie.clean.automatic 是否执行自动clean。 true hoodie.cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件
开启巡检授权 登录MRS控制台。 单击集群名称进入集群详情页面。 选择“巡检授权”页签。 配置巡检参数。 巡检授权时间:运维巡检授权的时长,到期后会自动取消授权。 巡检脚本保留时间:巡检脚本在执行前会先下载到集群中,该参数用于设置巡检脚本执行后保留的时长。巡检结果下载后保存在集群的“/sr
应用类型 描述 carbon.enable.auto.load.merge false Minor 数据加载时启用合并。 “true”:数据加载时自动触发segment合并。 “false”:数据加载时不触发segment合并。 carbon.compaction.level.threshold
ent Node上的性能监控数据和告警数据。 CAS 统一认证中心,登录Web Service时需要在CAS进行登录认证,浏览器通过URL自动跳转访问CAS。 AOS 权限管理模块,管理用户和用户组的权限。 ACS 用户和用户组管理模块,管理用户及用户归属的用户组。 Kerberos
数据写入HDFS后文件名的前缀。 TMP_ hdfs.batchSize 一次写入HDFS的最大事件数目。 61200 hdfs.kerberosPrincipal kerberos认证时用户,在安全版本下必须填写。安全集群需要配置此项,普通模式集群无需配置。 flume_hdfs hdfs.kerberosKeytab
数据写入HDFS后文件名的前缀。 TMP_ hdfs.batchSize 一次写入HDFS的最大事件数目。 61200 hdfs.kerberosPrincipal kerberos认证时用户,在安全版本下必须填写。安全集群需要配置此项,普通模式集群无需配置。 flume_hdfs hdfs.kerberosKeytab
数据写入HDFS后文件名的前缀。 TMP_ hdfs.batchSize 一次写入HDFS的最大事件数目。 61200 hdfs.kerberosPrincipal kerberos认证时用户,在安全版本下必须填写。安全集群需要配置此项,普通模式集群无需配置。 flume_hdfs hdfs.kerberosKeytab
比重)。 0.7 0-1 spark.sql.statistics.size.autoUpdate.enabled 开启当表的数据发生变化时,自动更新表的大小信息。注意如果表的数据文件总数量非常多时,这个操作会非常耗费资源,减慢对数据的操作速度。 false [true,false]
比重)。 0.7 0-1 spark.sql.statistics.size.autoUpdate.enabled 开启当表的数据发生变化时,自动更新表的大小信息。注意如果表的数据文件总数量非常多时,这个操作会非常耗费资源,减慢对数据的操作速度。 false [true,false]
/join并为一个,不但减少了大量的全局barrier,而且无需物化很多中间结果RDD,这将极大地提升性能。Spark把这个叫做流水线(pipeline)优化。 Transformation和Action(RDD的操作) 对RDD的操作包含Transformation(返回值还是
t类型。 String 100000字符 说明: 如果在CREATE TABLE中使用Char或Varchar数据类型,则这两种数据类型将自动转换为String数据类型。 如果存在字符长度超过32000的列,需要在建表时,将该列加入到tblproperties的LONG_STRING_COLUMNS属性里。
move_factor为数据移动策略。表示当卷的可用容量低于move_factor参数设定的值时,数据将被自动的移动到下一个卷。本例中当hot卷的容量低于20%的时候,hot卷中的数据将被自动的移动到cold卷。取值范围:0~1。 存储策略配置参考如下图所示: 保存并重启ClickHouse服务。