检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加Kafka的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限，本章节以为用户“test”添加 “test” 主题的“生产”权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。
添加Kafka的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限，本章节以为用户“test”添加 “test” 主题的“生产”权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。
Distributed File System），提供高吞吐量的数据访问，适合大规模数据集方面的应用。 Hive 建立在Hadoop基础上的开源的数据仓库，提供类似SQL的Hive Query Language语言操作结构化数据存储服务和基本的数据分析服务。 ZooKeeper 提供分布式
用场景，将数据进行结构和逻辑的转换，转化成满足业务目标的数据模型。 基于预设的数据模型，使用易用的SQL数据分析，用户可以选择Hive（数据仓库），SparkSQL以及Presto交互式查询引擎。 数据呈现调度 用于数据分析结果的呈现，并与数据治理中心DataArts Studi
组件业务用户 使用kafka-topics.sh创建Kafka主题。 ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper
快速创建和使用Kafka流式数据处理集群 操作场景 本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。
开启Executor个数动态分配功能的场景即“spark.dynamicAllocation.enabled”参数设为“true”时。 3 父主题： Spark Core
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤： 下载样例工程的Maven工程源码和配置文件，请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库，请参见配置华为开源镜像仓。 根据用户自身需求，构建完整的Maven工程并进行编译开发。
oker会自动感知消息是否重复，继而避免数据重复。需要注意的是，这个特性只能保证单分区上的幂等性，即一个幂等性Producer能够保证某个主题的一个分区内不出现重复消息；只能实现单会话上的幂等性，这里的会话指的是Producer进程的一次运行，即重启Producer进程后，幂等性不保证。
oker会自动感知消息是否重复，继而避免数据重复。需要注意的是，这个特性只能保证单分区上的幂等性，即一个幂等性Producer能够保证某个主题的一个分区内不出现重复消息；只能实现单会话上的幂等性，这里的会话指的是Producer进程的一次运行，即重启Producer进程后，幂等性不保证。
操作场景 用户可以根据业务需要，使用MRS集群客户端，在Kafka主题中产生消息，或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群，需要提前在Manager中创建业务用户，用户拥有在Kafka主题中执行相应操作的权限。 管理消息 进入Kafka服务页面： 登录FusionInsight
“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。 父主题： MRS集群告警处理参考
restart”且无法再修改密码，直到重启OMS数据库。 在弹出的对话框中，勾选“我已阅读此信息并了解其影响。”，单击“确定”，重新启动OMS服务。 父主题： 修改MRS集群数据库用户密码
AUTHORIZATION”区域的组件插件名称“OBS”，为hive用户组赋予OBS存储路径的“Read”和“Write”的权限，此时拥有hive组的用户均可以访问hive数据仓库路径。 例如，为“hive”用户组赋予“obs://hivetest/user/hive/warehouse/”目录的“Read”和“Write”的权限：
3.x之前版本：执行以下命令，创建Kafka主题。 创建主题 sh kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份个数 --zookeeper ZooKe
“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。 父主题： MRS集群告警处理参考
MRS组件应用开发简介 MRS是企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对海量信息数据的分析挖掘，发现全新价值点和企业商机。 MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖
k-defaults.conf”配置文件中将配置项“spark.shuffle.service.enabled”配置为“false”。 父主题： Spark Core
操作场景 用户可以根据业务需要，使用MRS集群客户端，在Kafka主题中产生消息，或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群，需要提前在Manager中创建业务用户，用户拥有在Kafka主题中执行相应操作的权限。 操作步骤 进入Kafka服务页面： MRS3
stored as orc tblproperties ("orc.compress"="ZLIB"); xx为具体使用的Hive表名。 父主题： Hive性能调优
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
