检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。 操作步骤 一个简单的流处理系统由以下三部分组件组成：数据源 + 接收器
集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面，可以查看到集群的基本配置信息，包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。 节点的实例规格和容量决定了该集群对数据的分析处理能力。 节点实例规格越高，容量越大，集群运
登录华为云管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查是否有正在运行的任务 登录FusionInsight Manager界面，查看右上角任务。
登录华为云管理控制台界面，选择对应MRS集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查Manager是否有正在运行的任务 登录FusionInsight Manager界面，查看右上角任务。
登录华为云管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查Manager是否有正在运行的任务 登录FusionInsight Manager界面，查看右上角任务。
Manager。 选择“集群 > 客户端管理”，即可查看当前集群已安装的客户端信息。 用户可查看客户端所在节点的IP地址、安装路径、组件列表、注册时间及安装用户等信息。 在当前最新版本集群下载并安装客户端时，客户端信息会自动注册。 图1 客户端信息 如需手动添加已安装好的客户端信息，单击
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 占用系统资源，业务进程响应变慢。 可能原因 主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态。 处理步骤 查看D状态进程。 打开MRS集群详情页面，在告警列表中，单击此告警所在行，在告警详情中，查看该告警的主机地址。
禁止主备倒换。 卸载补丁过程会重启Controller和Tomcat，可能会引起HA主备倒换，安装前需要禁止主备倒换，主备倒换禁止有设置超时时间10分钟，超过该时间后会自动取消禁止主备倒换： su - omm -c "/opt/Bigdata/OMSV100R001C00x8664/work
Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，获取NameNode实例的业务IP。 针对MRS 3.x之前版本，在集群详情页选择“组件管理 > HDFS > 实例”，获取NameNode实例的业务IP。 “dfs.namenode.rpc-address
/user/developuser/examples/output-data/map-reduce 在Windows下面执行的时候可能会出现下面的异常，但是不影响业务： java.io.IOException: Could not locate executable null\bin\winutils.exe in
bigdata.spark.examples.SparkHivetoHbase /** * 从hive表读取数据，根据key值去hbase表获取相应记录，把两者数据做操作后，更新到hbase表 */ object SparkHivetoHbase { case class FemaleInfo(name:
domain.id 访问IAM的用户对应的账号ID。 参考获取账号ID信息获取账号ID信息。 xxx token.server.access.iam.project.id 访问IAM的用户对应的项目ID。 参考获取账号ID信息获取项目ID信息。 xxx token.server.access
解。 场景说明 假定用户开发一个应用程序，用于记录和查询城市的气象信息，记录数据如下表表1，表2和表3所示。 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen Longgang 2017/7/1 00:00:00 28 54 Shenzhen Longgang 2017/7/1
x版本，下载“hadoop-x.x.x.tar.gz”，解压后在“hadoop-x.x.x\share\hadoop\mapreduce”路径下获取“hadoop-mapreduce-examples-x.x.x.jar”，即为Hadoop的样例程序。“hadoop-mapreduce-examples-x
在MRS的Master节点使用zkcli.sh访问ZooKeeper存在报错。 原因分析 用户使用的命令有误，造成报错的发生。 处理步骤 获取ZooKeeper的IP地址及端口信息，具体请参考如何获取ZooKeeper地址？。 以root用户登录Master节点。 初始化环境变量。 source /opt/client/bigdata_env
8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client.tar”包。执行如下命令解压。 tar -xvf MRS_HDFS_Client.tar tar -xvf MRS_HDFS_ClientConfig.tar 由于不兼容老版本客户端，建议用户获取与服务端集群相同版本的客户端安装包进行安装部署。
详情请参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls
iver端内存不足时，应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息 Structured
解决？ 回答 修复步骤如下： 在RegionServer启动失败的某个节点执行 su - omm，切换到omm用户。 在omm用户下执行java -XX:+PrintFlagsFinal -version |grep HeapBase，出现如下类似结果。 uintx HeapBaseMinAddress
bigdata.spark.examples.SparkHivetoHbase /** * 从hive表读取数据，根据key值去hbase表获取相应记录，把两者数据做操作后，更新到hbase表 */ object SparkHivetoHbase { case class FemaleInfo(name:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
