检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志聚合下，如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时，如何在页面看到聚合后的container日志？ 回答 请参考配置WebUI上查看Container日志。 父主题： Spark Core
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
默认情况下，Coordinator和Worker节点会随机启动在Yarn的NodeManager节点上，若需要开放端口，需要开放所有NodeManager节点的端口。HetuEngine利用Yarn的资源标签提供了限制Coordinator在指定NodeManager节点上运行的方案。
如何通过集群外的节点访问MRS集群？ 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点，具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。
日志聚合下，如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时，如何在页面看到聚合后的container日志？ 回答 请参考配置WebUI上查看Container日志。 父主题： Spark Core
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 登录FusionInsight Manager，具体请参见访问集群Manager。然后选择“集群 > 服务 > Kafka”。
查看弹性伸缩策略 功能介绍 查看指定集群的所有的弹性伸缩策略信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
以下示例的IP为WebHCat的业务IP，端口为安装时设置的WebHCat HTTP端口。 除“:version”、“status”、“version”、“version/hive”、“version/hadoop”以外，其他API都需要添加user.name参数。 :version(GET) 描述 查询WebHCat支持的返回类型列表。
servers”配置值中访问的IP和端口是否正确： 如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007（Kafka安全模式端口），那么修改该端口为9092（Kafka普通模式端口）。 检查网络是否正常，确保当前机器能够正常访问Kafka集群。
servers”配置值中访问的IP和端口是否正确： 如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007（Kafka安全模式端口），那么修改该端口为9092（Kafka普通模式端口）。 检查网络是否正常，确保当前机器能够正常访问Kafka集群。
址互通。 目标端口：接收Trap的端口，要求与对端保持一致，取值范围“0～65535”。 Trap团体名：该参数仅在设置版本为V2C时可用，用于设置主动上报团体名。 单击“确定”，设置完成，退出“添加Trap目标”对话框。 单击“确定”，设置完成。 父主题： 查看与配置MRS告警事件
示例中的IP为WebHCat所在节点的业务IP，端口为安装时设置的WebHCat端口。 MRS 1.9.2及之后版本默认端口为9111。详见MRS Manager管理界面“服务管理 > Hive > 服务配置”中“templeton.port”配置。 示例中的协议类型在普通集群中为“http”
内部随机方式分发请求，可能会导致负载不均匀 故障检测能力不足 当前通过ELB访问ClickHouse支持的协议和端口请参考表2，请根据实际使用场景选择配置。 表2 通过ELB访问ClickHouse支持的协议和端口列表 协议 端口 场景描述 TCP 9000 通过客户端请求到ELB连接ClickHouse场景时配置。例如使用clickhouse
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 进入Kafka服务页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Kafka”。
启动Presto客户端，具体请参见使用Presto客户端执行查询语句的2~8。 在Presto客户端中执行查询语句select * from hive.default.u_user; 查询alluxio上创建表。 图1 Presto查询alluxio上创建的表 父主题： 使用Alluxio
必选参数，指定服务器IP地址模式，可选择“IPV4”或“IPV6”。 FTP IP地址 必选参数，指定监控指标数据对接后存放监控文件的FTP服务器。 FTP端口 必选参数，指定连接FTP服务器的端口。 FTP用户名 必选参数，指定登录FTP服务器的用户名。 FTP密码 必选参数，指定登录FTP服务器的密码。 保存路径
remotenn1”值为对端集群其中一个NameNode实例的业务IP和RPC端口，设置“haclusterX.remotenn2”值为对端集群另外一个NameNode实例的业务IP和RPC端口。按照“IP:port”格式填写。 针对MRS 3.x版本集群，登录FusionInsight
以下示例的IP为WebHCat的业务IP，端口为安装时设置的WebHCat HTTP端口。 除“:version”、“status”、“version”、“version/hive”、“version/hadoop”以外，其他API都需要添加user.name参数。 :version(GET) 描述 查询WebHCat支持的返回类型列表。
查看作业历史信息 操作场景 该任务指导您在日常运维中，查看某个Loader作业的历史执行状态以及每次执行时长，同时提供该作业两种操作： 脏数据：查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志：查看作业在MapReduce执行的日志信息。
properties命令，查看当前的Flume Client配置文件。 根据Flume Agent的配置说明检查“properties.properties”的配置是否有误。 是，执行9。 否，执行11。 修改“properties.properties”配置文件。 查看告警是否已清除。 查看告警列表中，该告警是否已清除。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
