检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该任务指导用户在运维场景或业务场景中使用Storm客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。（普通模式不涉及） 操作步骤
tyKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 #!/usr/bin/python # -*- coding: utf-8 -*- import sys
tyKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 #!/usr/bin/python # -*- coding: utf-8 -*- import sys
MEM”参数设置内存。 示例 在执行spark wordcount计算中。1.6T数据，250个executor。 在默认参数下执行失败，出现Futures timed out和OOM错误。 因为数据量大，task数多，而wordcount每个task都比较小，完成速度快。当tas
根据车牌号聚合该车通过的所有收费站并排序，处理后数据如下： 车牌号1，[（通过时间，收费站3），（通过时间，收费站2），（通过时间，收费站4），（通过时间，收费站5）] 根据同行车要通过的收费站数量（例子里为3）分段该车通过的收费站序列，如上面的数据被分解成 ： 收费站3->收费站2->收费站4，
]table_name RENAME TO new_table_name; 参数描述 表1 RENAME参数描述 参数 描述 db_name 数据库名。如果未指定，则选择当前数据库。 table_name 现有表名。 new_table_name 现有表名的新表名。 注意事项 并行运行的查询（需要使
Services”中选择服务后，需要在“Resource”列中添加具体的资源对象，例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区，配置如下： 单击“Save”，等待安全区添加成功。
SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备admin权限的用户注册，由admin用户保证自定义的函数的安全性。
提交Storm拓扑失败，提示Failed to check principle for keytab 问题背景与现象 使用MRS流式安全集群，主要安装ZooKeeper、Storm、Kafka等。 定义拓扑访问HDFS、HBase等组件，使用客户端命令，提交Topology失败。
们的参数值一致。 选择“集群 > 服务 > Hive > 配置 > 全部配置”，搜索“maxConnectionsPerPartition”，检查是否小于100。 是，修改参数为100，单击“保存”，执行8。 否，执行8。 若以上步骤有修改参数，选择“集群 > 服务 > Hive
index：表示创建索引的数据表的名称。 当使用tablename.to.index创建索引时，如果数据表为空表，创建的索引状态为ACTIVE，否则索引状态为INACTIVE。 indexspecs.to.addandbuild（可选）：表示创建时同时生成索引数据，数据表数据量较大时不建议使
客户端机器的时间与集群的时间要保持一致，时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端，MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面，下载集群客户端软件包至主
privatekey:/home/omm/MRS_Log4j_Patch/bin/abc.pem & 通过tail -f nohup.out查看执行情况，打印“upgrade_resetpwdagent patch success.”表示执行完成。 受影响组件列表 MRS集群版本 受影响组件 MRS 3.1.1
Spark SQL ROLLUP和CUBE使用的注意事项 问题 假设有表src(d1, d2, m)，其数据如下： 1 a 1 1 b 1 2 b 2 对于语句select d1, sum(d1) from src group by d1, d2 with rollup其结果如下：
18 Kafka消息积压”告警。 本章节内容仅适用于MRS 3.5.0及之后版本。 配置积压告警规则 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操
行建库、表脚本迁移、重建元数据操作时需要特别注意，防止错误。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页
行工具kafka-configs.sh来管理Kafka集群的配置，按照不同的级别（topic级别、用户级别、客户端级别等）来限制Kafka消息生产和消费速度。 该功能仅适用于MRS 3.3.1及之后版本。 前提条件 MRS集群管理员已明确业务需求。并准备一个Kafka组件业务用户
refused; 在MRS Manager页面查看ResourceManager此时是否功能正常，如果Yarn服务状态故障或某个Yarn服务的实例出现未知之类的异常说明此时集群的ResourceManager可能异常。 排查使用的客户端是否是集群最新的客户端。 排查集群是否做过实例Re
调测Kafka Consumer样例程序 前提条件 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖
用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。 本章节主要介绍开发和应用Hive UDF的具体步骤。 MRS 3.2.1及以后版本，需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3.0版本为例。 开发Hive UDF项目 本样例实现一个Hive UDF，说明见下表。 表1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
