检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
Kafka Java API介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
Spark Scala API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类: SparkContext:是Spark的对外接口,负责向调用该类的scal
Spark Python接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类: pyspark.SparkContext:是Spark的对外接口。负责向调用该类
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
Kafka Java API介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
streaming.KafkaWordCount)任务时,日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。 回答 Spark部署时,如下jar包存放在客户端的“${SPARK_HOME}/jars/streamingClient01
均衡Kafka扩容节点后数据 操作场景 用户可以在Kafka扩容节点后,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载。 本章节内容适用于MRS 3.x之前版本。3.x及之后版本请参考配置Kafka数据均衡工具。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属
配置创建临时函数的用户不需要具有ADMIN权限 操作场景 Hive开源社区版本创建临时函数需要用户具备ADMIN权限。 MRS Hive提供配置开关,默认为创建临时函数需要ADMIN权限,与开源社区版本保持一致。 用户可修改配置开关,实现创建临时函数不需要ADMIN权限。当该选项
配置华为开源镜像仓 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。
Spark Java API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类: JavaSparkContext:是Spark的对外接口,负责向调用该类的J
streaming.KafkaWordCount)任务时,日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。 回答 Spark部署时,如下jar包存放在客户端的“${SPARK_HOME}/jars/streamingClient01
Kafka默认用户组如表1所示。 在MRS 3.x及之后版本中,Kafka支持两种鉴权插件:“Kafka开源自带鉴权插件”和“Ranger鉴权插件”。 本章节描述的是基于“Kafka开源自带鉴权插件”的用户权限管理。若想使用 “Ranger鉴权插件”,请参考添加Kafka的Ranger访问权限策略。
化。Storm与其他组件的关系如图1所示: 图1 组件关系图 Storm和Streaming的关系 Storm和Streaming都使用的开源Apache Storm内核,不同的是,Storm使用的内核版本是1.2.1,Streaming使用的是0.10.0。Streaming组
配置创建临时函数的用户不需要具有ADMIN权限 操作场景 Hive开源社区版本创建临时函数需要用户具备ADMIN权限。 MRS Hive提供配置开关,默认值为“true”,即创建临时函数需要ADMIN权限,与开源社区版本保持一致。 用户可修改配置开关,实现创建临时函数不需要ADM
streaming.KafkaWordCount)任务时,日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。 回答 Spark部署时,如下jar包存放在客户端的“${SPARK_HOME}/jars/streamingClient01
streaming.KafkaWordCount)任务时,日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。 回答 Spark部署时,如下jar包存放在客户端的“${SPARK_HOME}/jars/streamingClient01
下载并安装集群客户端,用于运行HCatalog程序,例如安装目录为“/opt/client”。 获取样例工程 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件,并在本地配置好相关开发工具,可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例
Storm应用开发环境简介 本开发指南提供了MRS产品Storm组件基于开源Storm的Eclipse样例工程和常用接口说明,便于开发者快速熟悉Storm开发。 开发环境准备分为应用开发客户端和应用提交客户端;应用开发一般是在Windows环境下进行;应用提交一般是在Linux环境下进行。
Spark Java API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: JavaSparkContext:是Spark的对外接口,负责向调用该类的Jav