检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问Spark应用获取的restful接口信息有误 问题 当Spark应用结束后，访问该应用的restful接口获取job信息，发现job信息中“numActiveTasks”的值是负数，如图1所示。 图1 job信息 numActiveTasks是指当前正在运行task的个数。
Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。 StructuredStreamingStateScalaExample 在Spark结构流应用中，跨批次统计每个sessi
访问Spark应用获取的restful接口信息有误 问题 当Spark应用结束后，访问该应用的restful接口获取job信息，发现job信息中“numActiveTasks”的值是负数，如图1所示。 图1 job信息 numActiveTasks是指当前正在运行task的个数。
ALM-12040 系统熵值不足（2.x及以前版本） 告警解释 每天零点系统检查熵值，每次检查都连续检查五次，首先检查是否启用并正确配置了rng-tools工具，如果没有配置，则继续检查当前熵值，如果五次均小于500，则上报故障告警。 当检查到真随机数方式已经配置或者伪随机数方式中配置了随机数
如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息？ 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。
properties |grep '^zookeeper.connect ='命令，查看ZooKeeper地址的变量信息。 重新运行Kafka获取Topic，其中从2中获取的变量不要添加任何字符。 父主题： 使用Kafka
项目编号。获取方法，请参见获取项目ID。 约束限制： 不涉及 取值范围： 只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及 cluster_id 是 String 参数解释： 集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见样例工程获取地址。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发。
> 实例”，获取ZooKeeper实例的“业务IP”地址。 图1 ZooKeepe地址 选择“服务配置”页签，搜索“clientPort”参数，该参数的值即为ZooKeeper的端口。 方法二：通过Manager界面获取 登录Manager界面。 在Manager界面获取ZooKeeper的IP地址和端口。
Hadoop压力测试工具如何获取？ 问： Hadoop压力测试工具如何获取？ 答： Hadoop压力测试工具社区获取地址：https://github.com/Intel-bigdata/HiBench。 父主题： 性能优化类
la） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
la） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
la） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
la） 功能介绍 使用Structured Streaming，从Kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
ALM-12110 获取ECS临时ak/sk失败 告警解释 meta每五分钟调用ECS接口获取AK/SK信息，并缓存在meta中，在AK/SK过期失效之前会再次调用ECS接口更新AK/SK，如果连续三次调用接口失败，会产生该告警。 当meta服务调用ECS接口成功时，告警清除。 告警属性
如何获取Spark Jar包？ 华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），各服务样例工程依赖的jar包都可在华为开源镜像站下载，剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发
conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.yarn.security.credentials.hbase.enabled HBase是否获取Token： true：获取 false：不获取 false 父主题： 使用Spark/Spark2x
Manager关键特性：统一监控告警 Manager提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标，并评测集群健康状态，同时提供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况，并在故障时实时上报告警。通过界面的联机帮助，用户可以查看性能指标和告警恢复的详细方法，进行快速排障。
ALM-45450 ClickHouse获取临时委托凭据失败 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统配置冷热分离功能和委托后，每隔1分钟检测一次临时委托凭据的更新状态，当连续3次检测到获取临时委托凭据失败时，系统产生告警。 当检测到系统获取临时委托凭据成功时，告警自动消除。
conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.yarn.security.credentials.hbase.enabled HBase是否获取Token： true：获取 false：不获取 false 父主题： 使用Spark2x（MRS 3.x及之后版本）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
