检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ume客户端。 本章节适用于MRS 3.x及之后版本。 前提条件 已创建包含Flume组件的集群。 日志主机需要与MRS集群在相同的VPC和子网。 已获取日志主机的登录方式。 安装目录可以不存在,会自动创建。但如果存在,则必须为空。目录路径不能包含空格。 操作步骤 获取软件包。 登录FusionInsight
”目录上传到HDFS某个指定目录(oozie_cli用户需要对该目录有读写权限)。 该指定目录需要与之前“job.properties”中定义的“oozie.coord.application.path”属性和workflowAppUri属性的值保持一致。 执行流程文件 命令: oozie
log.2021-03-22_12-00-07.gz vi ha.log.2021-03-22_12-00-07 查看日志中,告警时间点前后是否有报错信息。 是,根据相关报错信息进行处理。然后执行13。 例如,查询出报错信息如下,表示目录权限不足,则请修改对应目录权限与正常节点保持一致。
录上传到HDFS某个指定目录(developuser用户需要对该目录有读写权限)。 该指定目录需要与之前“job.properties”中定义的“oozie.coord.application.path”属性和“workflowAppUri”属性的值保持一致。 执行流程文件。 登
主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 如果数据要备份至OBS中,需要
选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 subnet-default 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 集群节点
在左侧租户列表,单击已添加租户的名称,可以查看当前租户的基本信息、资源配额、图表等信息。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制,不支持通过“角色管理”进行手动管理。 使用此租户时,请创建一个系统用户,并分配
从而导致Channel频繁被写满,进而影响性能表现。 Avro Source和Avro Sink一般都是成对出现,用于多个Flume Agent间进行数据中转,因此一般场景下Avro Source和Avro Sink都不会成为性能瓶颈。 模块间性能 根据模块间性能对比,可以看到对于前端是SpoolDir
备集群上的时间必须与主集群一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 需确保主备集群中Doris和HDFS的“hadoop.rpc.protection”配置项的值保持一致。 根据业务需要,规划
录并单击“移动”完成移动。 复制:表示复制选中的文件或目录。 更改权限:表示修改选中目录或文件的访问权限。 可以为属主、属组和其他用户设置“读取”、“写”和“执行”权限。 “易贴”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。 “递归”表示递归设置权限到子目录。
元数据权限即在元数据层上进行权限控制,与传统关系型数据库类似,SparkSQL数据库包含“创建”和“查询”权限,表和列包含“查询”、“插入”、“UPDATE”和“删除”权限。SparkSQL中还包含拥有者权限“OWNERSHIP”和Spark管理员权限“管理”。 数据文件权限,即HDFS文件权限 Spa
回显中“ResName”列出现“ntp”字样,执行20。 如果回显中“ResName”列同时出现“chrony”和“ntp”字样,则表示正在切换NTP服务模式,等待十分钟再次执行1,如果回显中“ResName”列依旧同时出现“chrony”和“ntp”字样,请联系运维人员。 检查该节点的chrony服务是否正常启动。
录上传到HDFS某个指定目录(developuser用户需要对该目录有读写权限)。 该指定目录需要与之前“job.properties”中定义的“oozie.coord.application.path”属性和“workflowAppUri”属性的值保持一致。 执行流程文件。 登
响。 可能原因 Flink作业RocksDB的Get P95耗时持续超过阈值的可能原因: Level0层SST文件数太多,导致查询慢,伴随有“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”的告警。 缓存命中率低于60%,导致block cache频繁的换入换出。
Topic的“Topic的字节流量 > Topic输入的字节流量”,统计出“Topic输入的字节流量”值最大的Topic。查看该Topic有哪些Partition以及这些Partition所在的主机信息。 登录到5查询到的主机,执行iostat -d -x命令查看每个磁盘的最后一个指标“%util”:
选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 subnet-default 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 集群节点
/mnt Successfully created directory /mnt 挂载一个已有的OBS文件系统到Alluxio(前提:给集群配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式))。此处以obs-mrstest文件系统为例,请根据实际情况替换文件系统名。
元数据权限即在元数据层上进行权限控制,与传统关系型数据库类似,SparkSQL数据库包含“创建”和“查询”权限,表和列包含“查询”、“插入”、“UPDATE”和“删除”权限。SparkSQL中还包含拥有者权限“OWNERSHIP”和Spark管理员权限“管理”。 数据文件权限,即HDFS文件权限 Spa
节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项: 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整,具体操作请参考修改集群服务配置参数。 可用内存 除了分配给操作系统、其他
zookeeper.session.timeout.ms 网络异常。 在hosts文件中没有配置主机名和IP的对应关系,导致使用主机名进行访问时,无法获取信息。 在hosts文件中添加对应的主机名和IP的对应关系。 Linux Windows 父主题: 使用Kafka