检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK概述 本文介绍了MRS服务提供的SDK语言版本，列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码，如图1所示。
应用场景 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（Extract-Tran
员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。 配置MRS集群对接SNMP网管平台上报告警
SparkSql作业用于查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句涉及敏感信息，也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在MRS集群的管理控制台上提交并查看SparkSql作业为例进行说明。
业务1的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录，可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>，启动一个简易的文本服务器。
业务1的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录，可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>，启动一个简易的文本服务器。
00，需要修改DBService的最大连接数。 解决办法 进入DBService服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > DBService > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件
engine that supports data distribution and parallel computing. 在云服务列表中选择“存储 > 对象存储服务”，登录OBS管理控制台。 单击“并行文件系统”，创建一个并行文件系统，并上传测试数据文件。 例如创建的文件系统名称为“m
netty.client.numThreads”：默认是“taskmanager.numberOfTaskSlots”，表示netty的客户端和服务端的线程数目设置。 “taskmanager.network.netty.client.connectTimeoutSec”：默认是120
3对接时存在Jetty兼容性问题如何处理？ MRS导出数据到OBS加密桶失败如何处理？ MRS服务如何对接云日志服务？ MRS集群的节点如何安装主机安全服务？ 如何通过happybase连接到MRS服务的HBase？ Hive Driver是否支持对接dbcp2？
HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问普通模式集群HDFS 父主题： HDFS开发指南（普通模式）
cation为OBS路径的表。 集群安装后使用spark beeline 登录FusionInsight Manager，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在左侧的导航列表中选择“JDBCServer2x > 自定义”。在参数“spark.hdfs-site
com.obs=WARN 可执行以下命令查看： tail -4 log4j.properties 图2 查看日志级别 父主题： MRS集群服务对接OBS示例
息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构
责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。 Storm有如下几个特点： 适用场景广泛 易扩展，可伸缩性高
MRS集群所在VPC部署了VPCEP后集群补丁安装失败 问题现象 通过MRS管理控制台为MRS集群在线安装补丁，补丁安装失败，报错日志信息中提示访问OBS 403无权限。 原因分析 用户集群所在VPC中，部署并配置了VPC终端节点（VPCEP）。相关的终端节点策略中，未允许MRS
SQL语句和SQL脚本文件查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句中涉及敏感信息，也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS
图1 运行Consumer.java 单击运行后弹出控制台窗口，可以看到Consumer启动成功后，再启动Producer，即可看到实时接收消息： 图2 Consumer.java运行窗口 在Linux调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“sr
注意：在此处设定的输出结果序列的类型，决定了“transform”方法中“PointCollector”实际能够接收的数据类型。“setOutputDataType”中设定的输出类型和“PointCollector”实际能够接收的数据输出类型关系如下： 表4 “PointCollector”能接受到的数据类型与输出的对应关系
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
