检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL链路任务启动时如何从指定位置抓取数据 现象描述 MySQL链路任务启动时，可以从指定位置抓取数据，本章节主要介绍如何获取指定位置参数。 图1 启动任务 处理步骤 使用工具或者命令行连接MySQL数据库（本示例使用Navicat工具连接）。 执行以下命令。 SHOW MASTER
执行balance常见问题定位方法 问题1：报没权限（Access denied）执行balance 问题详细：执行start-balancer.sh，“hadoop-root-balancer-主机名.out”日志显示“Access denied for user test1.
作业无法提交如何定位？ 问题背景与现象 通过DataArts Studio或者在MRS管理控制台无法提交作业。 问题影响 作业无法提交，业务中断。 处理步骤 确认异常来源。 查看作业日志中收到的错误码，确认错误码是属于APIG还是MRS。 若是公共APIG的错误码（APIG的错误
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展，当集群规模不符合业务要求时，用户可以通过该功能进行集群节点规模的调整，进行扩容或者缩容；在缩容节点时，MRS会智能地选择负载最少或者迁移数据量最小节点，并且在缩容过程中，缩容节点不再接收新的任务，正在执行
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，管理员可在线按照节点范围或者组件角色范围快速检视所有日志，通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight
进程被终止如何定位原因 问题背景与现象 在某环境出现DataNode异常重启，且确认此时未从页面做重启DataNode的操作，需要定位是什么进程终止了DataNode服务端进程。 原因分析 常见的进程被异常终止有2种原因： Java进程OOM被终止 一般Java进程都会配置OOM
使用Hive异常文件定位定界工具 操作场景 由于某些异常操作或者磁盘损坏等原因导致Hive存储的数据文件出现异常，异常的数据文件会导致任务运行失败或者数据结果不正确。 该工具用于对常见的非文本类的数据文件格式进行异常排查。 该章节内容仅适用MRS 3.2.0及之后版本。 操作步骤
输入“日志存储时间”，如果不设置，系统默认存储时间为30天。日志组创建后，日志存储时间支持修改。 云日志服务的计费单位为日志使用量，免费额度为500MB/月，包括日志读写、日志存储和日志索引，超过免费额度后将按照日志使用量进行收费。 单击“确定”，完成日志组的创建。 在“日志管理”页面中，可以查看日志组名
员协助解决时，用户可先联系华为云支持人员，再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题，或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”，选中一个运
处理步骤 检查异常文件配置。 登录MRS集群详情页面，选择“告警管理”。 查看该告警的详细信息，查看定位信息中对应的“HostName”字段值，获取该告警产生的主机名，查看定位信息中对应的“PathName”字段值，获取异常的文件路径或者名称。 登录告警节点。 在参考信息中查找
在实时告警列表中，单击此告警所在行。 在“告警详情”区域，从“定位信息”中获取“HostName”和“PartitionName”，其中“HostName”为故障告警的节点，“PartitionName”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后，将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014
查看MRS云服务操作日志 MRS管理控制台中记录了用户对MRS集群和作业的操作信息。日志信息常用于集群运行异常时的问题定位，帮助用户快速定位问题原因，以便及时解决问题。 目前MRS记录以下操作类型的日志信息： 集群操作 在管理控制台创建集群、删除集群、扩容集群和缩容集群等。 在管理控制台创建目录、删除目录和删除文件。
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情，以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志，因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。
HDFS > 文件系统”。 定位到指定目录或文件在HDFS中保存的位置。 在指定目录或文件的“权限”列，勾选“读”和“执行”。 设置用户读取其他用户的目录或文件的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统”。 定位到指定目录或文件在HDFS中保存的位置。
查看MRS组件角色实例日志 MRS集群创建成功后，用户可以通过Manager界面在线直接查看组件各角色实例的日志内容并下载指定日志文件，便于快速定位分析问题。 本章节操作仅支持MRS 3.x及之后的版本。 查看角色实例日志 登录FusionInsight Manager。 选择“集群
HetuEngine SQL诊断功能介绍 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务，提升在线SQL运维能力，自动加速在线SQL分析任务，开启SQL诊断能力后，系统可实现如下能力： 自动感知并向集群管理员展现不同时间周期范围内的租户级、用户级的S
体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志，无
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS
Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题： Kafka
在日常使用ClickHouse时，如果出现一些异常故障，需要紧急重启恢复业务，在紧急重启之前，需要及时转储ClickHouse各系统表状态信息，用于问题定位，提升ClickHouse问题定位的效率。 针对不同的系统表日志可以分为实时转储和一键转储，如下表所示： 系统表转储日志 系统表 实时转储系统表日志 system
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
