检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对Streaming调优，就必须使该三个部件的性能都合理化。 数据源调优 在实际的应用场景中，数据源为了保证数据的容错性，会将数据保存在本地磁盘中，而Streaming的计算结果全部在内存中完成，数据源很有可能成为流式系统的最大瓶颈点。 对Kafka的性能调优，有以下几个点： 使用Kafka-0.8.2以后版本
{wordsPerMessage} 开发思路 接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。
访问Ranger WebUI及同步Unix用户到Ranger WebUI 用户可以通过Ranger WebUI，在图形化界面上对Ranger进行管理。 访问Ranger Admin WebUI 在MRS控制台，单击集群名称进入集群详情页面。 选择“组件管理”。 选择“Ranger”，在“Ranger
重装Yarn服务后手动恢复MRS租户数据 租户的数据默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，需要手动恢复。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”
readTextFile(filePaths[i])); } } // 数据转换，构造整个数据处理的逻辑，计算并得出结果打印出来 unionStream.map(new MapFunction<String, UserRecord>()
readTextFile(filePaths[i])); } } // 数据转换，构造整个数据处理的逻辑，计算并得出结果打印出来 unionStream.map(new MapFunction<String, UserRecord>()
分析Hive数据 功能介绍 本小节介绍了如何使用样例程序完成分析任务。样例程序主要有以下方式。 使用JDBC接口提交数据分析任务。 使用HCatalog接口提交数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。
查看MRS集群组件监控指标 用户在日常使用中，可以在MRS管理所有组件（含角色实例）的状态及指标信息。状态信息包括运行、健康、配置及角色实例状态统计。指标信息为各组件的主要监控指标项。 查看MRS集群组件监控指标前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在
同步MRS集群配置 某个新的配置需要同时下发到集群所有服务，或修改某项配置后导致多个不同服务的“配置状态”为“配置过期”或“失败”时，表示这些服务的配置参数值未同步且未生效，集群管理员可以对集群执行同步配置功能，并在同步配置后重启相关服务实例，使所有服务启用新的配置参数。 前提条件
getBytes())); Put put = new Put(Bytes.toBytes(row)); // 计算结果 int resultValue = Integer.valueOf(row) + Integer.valueOf(aCid);
Manager首页，选择“集群 > 服务 > ClickHouse > 更多 > 同步配置”，执行ClickHouse同步配置操作，同步配置成功后，执行1。 计算返回的结果中Output stat的bytes值与Output quota的bytes值之比是否大于0.9。 listquota /clickhouse
需要广播的表是分区表，更新表数据后。 参考信息 被广播的表执行超时，导致任务结束。 默认情况下，BroadCastJoin只允许被广播的表计算5分钟，超过5分钟该任务会出现超时异常，而这个时候被广播的表的broadcast任务依然在执行，造成资源浪费。 这种情况下，有两种方式处理：
ALM-45741 请求ECS securitykey接口失败 本章节仅适用于MRS 3.2.1及之后版本。 告警解释 Guardian 会缓存ECS委托的临时aksk，当缓存不存在或者快要过期时，Guardian会去调用ECS的securitykey接口刷新aksk，当调用接口失败时，会产生该告警。
取模转换：取模运算步骤，配置已生成的字段通过取模，转换出新的字段。 剪切字符串：字符串截取步骤，配置已生成的字段通过指定位置截取，转换出新的字段。 EL操作转换：计算器，可以对字段值进行运算，目前支持的算子有：md5sum、sha1sum、sha256sum和sha512sum等。 字符串大小写转换：字
取模转换：取模运算步骤，配置已生成的字段通过取模，转换出新的字段。 剪切字符串：字符串截取步骤，配置已生成的字段通过指定位置截取，转换出新的字段。 EL操作转换：计算器，可以对字段值进行运算，目前支持的算子有：md5sum、sha1sum、sha256sum和sha512sum等。 字符串大小写转换：字
需要广播的表是分区表，更新表数据后。 参考信息 被广播的表执行超时，导致任务结束。 默认情况下，BroadCastJoin只允许被广播的表计算5分钟，超过5分钟该任务会出现超时异常，而这个时候被广播的表的broadcast任务依然在执行，造成资源浪费。 这种情况下，有两种方式处理：
{wordsPerMessage} 开发思路 接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
Manager首页，选择“集群 > 服务 > ClickHouse > 更多 > 同步配置”，执行ClickHouse同步配置操作，同步配置成功后，执行1。 检查计算返回的结果中Output stat的count值与Output quota的count值之比是否大于0.9。 listquota /clickhouse
启动停止MRS集群组件 用户可以根据需要对MRS集群内的服务组件进行停止操作，停止后组件将不再对外提供服务。 停止不再使用或异常的服务。 启动操作状态为“已停止”、“停止失败”或“启动失败”的服务，以重新使用该服务。 重启异常或配置过期的服务，以恢复或生效服务功能。 前提条件 如
Oozie Oozie简介 Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。 Oozie结构 Oozie引擎是一个Web App应用，默认集成到Tomcat中，采用pg数据库。 基于Ext提供WEB Console，该Console仅提供对
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
