检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何获取Kafka Consumer Offset信息 问题背景与现象 使用Kafka Consumer消费数据时，如何获取Kafka Consumer Offset相关信息？ Kafka API简单说明 新Producer API 指org.apache.kafka.clients
使用Flume服务端从本地采集静态日志保存到Kafka 该任务指导用户使用Flume服务端从本地采集静态日志保存到Kafka的Topic列表（test1）。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Spooldir
Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。 下面使用HTTPS作为URL的一部分，并且只有HTTPS将得到支持。
在本地Windows环境中调测ClickHouse应用 编译并运行程序 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。
Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:portasSS_REST_SERVER.的形式指示YARN。 下面使用HTTPS作为URL的一部分，并且只有HTTPS将得到支持。
进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。 如果本地Windows开环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。 登录FusionInsight Manager页面，选择“集群
使用Flume服务端从本地采集静态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Spooldir
使用Flume服务端从本地采集动态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Taildir
开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK Java/Scala开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。
开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ IDEA 开发环境的基本配置。版本要求：JDK使用1.8版本，IntelliJ IDEA使用2019.1或其他兼容版本。
Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。 下面使用HTTP作为URL的一部分，并且只有HTTP将得到支持。
在本地Windows环境中调测ClickHouse应用 编译并运行程序 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。
产生告警的主机名。 对系统的影响 无法进行数据读写和创建表等操作。 可能原因 ZooKeeper服务异常。 HDFS服务异常。 HBase服务异常。 网络异常。 处理步骤 检查ZooKeeper服务状态。 登录MRS集群详情页面，选择“组件管理”。 在服务列表中，查看ZooKeeper健康状态是否为“良好”。
ouse应用（MRS 3.3.0之前版本） 编译并运行程序 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。
ouse应用（MRS 3.3.0之前版本） 编译并运行程序 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。
开发环境：Windows系统，推荐Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下： MRS集群的服务端和客户端仅支持自带的Oracle JDK（版本为1.8），不允许替换。
集群外节点提交Spark作业时报错无法连接Driver 问题现象 集群外节点和集群各个节点网络已经互通，在集群外节点使用client模式提交Spark任务到Yarn上，任务失败，报错信息为无法连接Driver。 原因分析 使用client模式提交Spark任务的时候，Spark的
HetuEngine启动计算实例时，会给Yarn发送命令启动对应的application，若30秒内没有接收到Yarn的响应消息，则因超时结束此次请求。 若由于机器性能或者是网络环境问题，无法在30秒内接收到Yarn启动application的响应消息时，可适当延长对应的超时时间。 登录FusionInsight Manager。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 正在运行的调度任务会阻塞，无法提交新的调度任务。 可能原因 HDFS服务重启、故障或网络故障导致Oozie与HDFS连接状态异常。 处理步骤 检查HDFS服务状态。 在FusionInsight Manager的服务列表中，查看HDFS运行状态是否为“良好”。
集群管理类 缩容Task节点失败 如何处理集群内部OBS证书过期 MRS集群更换磁盘（适用于2.x及之前） MRS集群更换磁盘（适用于3.x） MRS备份任务执行失败 Core节点出现df显示的容量和du显示的容量不一致 如何解除网络ACL的关联子网 修改节点主机名后导致MRS集群状态异常
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
