检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在组列表上方,单击“添加用户组”。 图1 添加用户组 填写“组名”和“描述”。 “组名”由数字、字母、或下划线、中划线(-)或空格组成,不区分大小写,长度为1~64位,不能与系统中已有的用户组名相同。 在“角色”,单击“添加”选择指定的角色并添加。 对于已启用Ranger授权的组件(
* 节点个数 * 核规格单价 * 购买时长 弹性云服务器:节点个数 * 弹性云服务器单价 * 购买时长 云硬盘(系统盘和数据盘):云硬盘的大小 * 云硬盘单价 * 购买数量 * 购买时长 本例中,在第一个计费周期内MRS普通版集群的使用量为1316秒,单价可在MRS价格计算器中查询。
时文件将被压缩。压缩前临时文件不可见。 compaction.file-size none MemorySize 压缩目标文件大小,默认值为滚动文件大小。 分区文件的提交。 文件写入分区后,通常需要通知下游应用程序。如将分区添加到Hive元存储中,或在目录中写入_SUCCESS文
MonitorServer:“/var/log/Bigdata/flume/monitor” 日志归档规则:Flume日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.
CPU核数*2 background_pool_size CPU核数 merge_max_block_size 8192的整数倍,根据CPU内存资源大小调整 cleanup_delay_period 适当小于默认值 30 修改parts_to_throw_insert值 增大Too many
各个服务使用资源的监控指标结果,包含监控指标如下: 服务总体CPU使用率 服务总体磁盘IO读速率 服务总体磁盘IO写速率 服务总体内存使用大小 查看静态资源(3.x及之后版本) 在FusionInsight Manager界面,选择“集群 > 静态服务池”。 在“配置组列表”,单击一个配置组,例如“default”。
ACID事务能力,支持实时入湖和批量入湖。 多种视图能力(读优化视图/增量视图/实时视图),支持快速数据分析。 MVCC设计,支持数据版本回溯。 自动管理文件大小和布局,以优化查询性能准实时摄取,为查询提供最新数据。 支持并发读写,基于snapshot的隔离机制实现写入时可读取。 支持原地转表,将存量的历史表转换为Hudi数据集。
如果原来故障的磁盘是RAID,那么请按照对应RAID卡的配置方法配置RAID。 等待20~30分钟后执行mount命令(具体时间依赖磁盘的大小),检查磁盘是否已经挂载在目录“挂载目录名”上。 是,针对MRS 3.3.0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本集群,执行9。MRS
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Task Failure Rate 产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngine计算实例任务失败率过高,会影响业务的正常运行,需及时排查问题并处理。 可能原因 计算实例资源配置过小。
UserSync“/var/log/Bigdata/ranger/usersync”(运行日志)。 日志归档规则:Ranger的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”,最多保留最近的20个压缩文件。
Topic和使用KafkaUI迁移分区(MRS 3.5.0之前版本)章节。 在“Topic Rank”栏,可查看当前集群Topic日志条数、数据体积大小、数据流入量、数据流出量前十名的Topic。 单击“TopicName”可进入到该Topic的详情页面中,在该页面的具体操作请参考查看Kafka数据生产消费详情。
NodeManager重启过程中,提交到该节点的Container可能会重试到其他节点。 集群中的NodeManager实例数量和NodeManager内存大小的对应关系参考如下: 集群中的NodeManager实例数量达到100,NodeManager实例的JVM参数建议配置为:-Xms2G -Xmx4G
程序。 Spark Script需要以“.sql”结尾,MapReduce和Spark Jar需要以“.jar”结尾,sql和jar不区分大小写。 默认取值: 不涉及 input 否 String 参数解释: 数据输入地址。 约束限制: 不涉及 取值范围: 必须以“/”或“s3a
功能,默认情况下,当“access.log”、“error.log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候,会自动压缩。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名
单击“选择”,上传本地Jar文件,并参考表2配置参数或添加自定义参数。 表2 参数配置 参数名称 参数描述 本地jar文件 上传jar文件。直接上传本地文件,大小不能超过10M。 Main Class Main-Class类型。 默认:默认根据Jar包文件的Mainfest文件指定类名。 指定:手动指定类名。
CPU核数*2 background_pool_size CPU核数 merge_max_block_size 8192的整数倍,根据CPU内存资源大小调整 cleanup_delay_period 适当小于默认值 30 修改parts_to_throw_insert值 增大Too many
事件中显示大作业的数量。 10 job.monitor.local.dir.threshold 监控NodeManager本地磁盘作业目录的大小,超过当前阈值就会上报事件。 单位:GB。 20 job.monitor.check.period 大作业监控周期,配置为0表示禁用大作业监控。
可以使用规则运算表达式来同时匹配多个表,但不可用于匹配分区。 展示的信息将包括表的基本信息和相关的文件系统信息,其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区,将给出指定分区的文件系统信息,而不是分区所在表的文件系统信息。
功能,默认情况下,当“access.log”、“error.log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候,会自动压缩。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名
一般业务场景下建议ZNode数量在200w以内,如果集群仅部署了ClickHouse,ZNode数量可以扩大到600w以内。 单个ZNode大小 4MB - 父主题: ZooKeeper