检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中，或者数据加载后出现许多错误记录，用户希望修改并重新加载数据时，可删除对应的segment。可使用segment ID来删除segment，也可以使用加载数据的时间来删除segment。 删除seg
操作系统 Windows系统，支持Windows 7以上版本。 本地开发环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置，版本要求如下： JDK版本号应该与用户要访问的FusionInsight Manager使用的版本号一致，具体的版本号可以查看对应版本文档或咨询系统管理员。
conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
MRS集群运维说明 登录MRS集群 查看MRS集群监控指标 MRS集群健康检查 MRS集群容量调整 备份恢复MRS集群数据 安装MRS集群补丁 MRS集群补丁说明 查看MRS集群日志 MRS集群安全配置 查看与配置MRS告警事件 MRS集群告警处理参考 配置MRS集群远程运维 MRS集群服务常用端口列表
MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持Presto、Impala、Kudu
MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群还支持Presto、Impala、Kudu
aster主要负责container的启停。 因而Driver和Executor的参数配置对Spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。 操作步骤 配置Driver内存。 Driver负责任务的调度，和Executor、AM之间的消息通信
conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。
Manager页面，选择“集群 > 服务 > DBService > 实例”，查看备DBServer实例的业务IP地址。 以root用户登录主DBService节点，用户密码为安装前用户自定义，请咨询系统管理员。 执行ping 备DBService心跳IP地址命令检查备DBService节点是否可达。 是，执行6。
通过典型场景，您可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 编译并运行程序 指导用户将开发好的程序编译并提交运行。 查看程序运行结果 程序运行结果会写在用户指定的路径下。 用户还可以通过UI查看应用运行情况。 父主题： Storm应用开发概述
main()”运行应用工程。 如果集群开启了ZooKeeper SSL，则运行该样例前，需要检查配置文件mapred-site.xml（准备运行环境中样例工程的“conf”配置文件目录中获取）的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce
如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数章节，进入ZooKeeper服务“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”，在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效，不需要重启服务。 日志格式 ZooKeeper的日志格式如下所示：
x之前版本： 登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。选择“节点管理 > 节点名称” ，进入弹性云服务器界面。单击“远程登录”按钮，完成Hive节点的登录。 MRS3.x及后续版本： 以root用户登录已安装Hive客户端的节点。 执行以下命令，进入客户端安装目录，例如“/opt/client”。
如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数章节，进入ZooKeeper服务“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”，在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效，不需要重启服务。 日志格式 ZooKeeper的日志格式如下所示：
在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装Eclipse 开发环境的基本配置。版本要求：4.2。 安装JDK 版本要求：1.8版本。 父主题： 准备MapReduce应用开发环境
根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考安装客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤）
数据规划 在kafka中生成模拟数据（需要有Kafka权限用户） 确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics
数据规划 在kafka中生成模拟数据（需要有Kafka权限用户） 确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics
该样例代码只存在于mrs-sample-project-1.6.0.zip中 // 参数解析: //<groupId> 消费者的group.id. //<brokers> broker的IP和端口. //<topic> kafka的topic.
检查Broker用于处理请求的线程数配置是否不合理。 登录FusionInsight Manager，选择“集群 > 服务 > Kafka> 配置 > 全部配置”。 搜索并查看“num.io.threads”参数值，如果参数值过小，适当增大参数值，建议调整为CPU核数的2倍，最大不超过64，保存配置。 单击
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
