检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行日志:“/var/log/Bigdata/oozie”。 审计日志:“/var/log/Bigdata/audit/oozie”。 日志归档规则:Oozie的日志分三类:运行日志、 脚本日志和审计日志。运行日志每个文件最大20M,最多20个。审计日志每个文件最大20M,最多20个。 “oozie
运行日志:“/var/log/Bigdata/oozie”。 审计日志:“/var/log/Bigdata/audit/oozie”。 日志归档规则:Oozie的日志分三类:运行日志、 脚本日志和审计日志。运行日志每个文件最大20M,最多20个。审计日志每个文件最大20M,最多20个。 “oozie
检查是否防火墙禁用端口。 执行命令lsof -i :20012查询主备节点的心跳端口是否打开,有查询结果说明端口已经开放,否则说明端口被防火墙禁用。 是,执行13。 否,执行16。 执行命令iptables -P INPUT ACCEPT,防止与服务器断开。 清除防火墙。 iptables
集群开启弹性伸缩功能,可以在配置资源计划的同时添加自动化脚本,则自动化脚本会在弹性伸缩的节点上执行,实现用户自定义操作。 引导操作简介 运维授权 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过“运维授权”功能授权华为云支持人员访问用户机器的权限用于定位问题。
按需是每小时扣费,如果余额不足将导致欠费,而包年/包月集群需要在时长用完前续费。如果您未能在按需集群欠费后或者包年/包月集群到期后续费,华为云不会立即停止您的业务,订单转入保留期,此时集群将终止服务,数据仍然保留。 退订:已经购买包周期集群的客户,在集群资源到期之前,如果不需要
运维授权:MRS服务提供运维授权功能,用户在使用MRS集群过程中,发生问题可以在MRS页面发起运维授权,由运维人员帮助用户快速定位问题,用户可以随时收回该授权。 健康检查 MRS为用户提供界面化的系统运行环境自动检查服务,帮助用户实现一键式系统运行健康度巡检和审计,保障系统的正常运行,降
运行日志),“/var/log/Bigdata/audit/zookeeper/quorumpeer”(审计日志) 日志归档规则:ZooKeeper的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩。最多保留20个压缩文件,压缩文件保留个数可以在Manager界面中配置。
15:myHostName=10.0.0.250 ACTIVE=10.0.0.250 审计日志 <UserName><yyyy-MM-dd HH:mm:ss,SSS><审计操作描述><资源参数><url><是否允许><审计操作><ip地址> {"username": "admin", "eventTime":
启用集群间拷贝功能备份集群数据 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间复制功能,该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响
a/tez/tezui”(运行日志),“/var/log/Bigdata/audit/tez/tezui”(审计日志)。 日志归档规则:Tez的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:
运行日志),“/var/log/Bigdata/audit/zookeeper/quorumpeer”(审计日志) 日志归档规则:ZooKeeper的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩。最多保留20个压缩文件,压缩文件保留个数可以在Manager界面中配置。
15:myHostName=10.0.0.250 ACTIVE=10.0.0.250 审计日志 <UserName><yyyy-MM-dd HH:mm:ss,SSS><审计操作描述><资源参数><url><是否允许><审计操作><ip地址> {"username": "admin", "eventTime":
如客户端发起请求,但是未得到响应。由于不确定任务是卡在客户端还是服务端,可以通过审计日志查看。如果审计日志根本没有相关信息,那么说明任务终止在客户端;如果审计日志有相关信息打印,那么就需要去运行日志里进一步定位原因。 查看指定时间段的任务请求个数,可通过审计日志查看在指定时间段有多少个请求。 HiveServer运行日志
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题: 产品功能
Oozie开源增强特性 Oozie开源增强特性:安全增强 支持Oozie权限管理,提供管理员与普通用户两种角色。 支持单点登录登出,HTTPS访问以及审计日志。 父主题: Oozie
作业管理 作业管理为用户提供向集群提交作业的入口,支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。结合华为云数据治理中心DataArts Studio,提供一站式的大数据协同开发环境、全托管的大数据调度能力,帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts
er”(运行日志)、“/var/log/Bigdata/audit/iotdb/iotdbserver”(审计日志)。 日志归档规则:IoTDB的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为
配置Doris高可用功能 Doris集群高可用方案概述 配置通过ELB访问Doris集群 父主题: Doris企业级能力增强
开启Kafka高可靠功能 操作场景 如果需执行表1中的CDL数据同步任务时,需开启Kafka高可靠性功能,防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。
it/yarn/rm”(审计日志) NodeManager:“/var/log/Bigdata/yarn/nm”(运行日志),“/var/log/Bigdata/audit/yarn/nm”(审计日志) 日志归档规则:Yarn的日志启动了自动压缩归档功能,缺省情况下,当日志大小超