检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具，请根据指导完成开发环境配置。 MapReduce的运行环境即MapReduce客户端，请根据指导完成客户端的安装和配置。
将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者，针对已使用过的IDEA工具，您可以从IDEA主界面直接添加。选择“File > Import project...”导入工程。 图12 Import
模式下，不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求，ResourceManager为其返回应答，该应答中包含多种信息(如ApplicationId、可用资源使用上限和下限等)。Client端将启动
在YARN-Client模式下，Driver部署在Client端，在Client端启动。YARN-Client模式下，不兼容老版本的客户端。推荐使用YARN-Cluster模式。 客户端向ResourceManager发送Spark应用提交请求，Client端将启动Applicatio
主集群部署为普通模式，则不需要配置互信。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 主备集群中，需要确保ClickHouse的“HADOOP_RPC_PROTECT
SparkOnMultiHbase /opt/example/SparkOnMultiHbase-1.0.jar 开发思路 用户访问HBase时，需要使用对应集群的配置文件创建Configuration对象，用于创建Connection对象。 用对应的Connection对象操作HBase表
HBase样例程序开发思路。 hbase-examples/hbase-rest-example HBase Rest接口应用开发示例。 使用Rest接口实现查询HBase集群信息、获取表、操作NameSpace、操作表等功能，相关样例介绍请参见HBase Rest接口调用样例程序。
HBase样例程序开发思路。 hbase-examples/hbase-rest-example HBase Rest接口应用开发示例。 使用Rest接口实现查询HBase集群信息、获取表、操作NameSpace、操作表等功能，相关样例介绍请参见HBase Rest接口调用样例程序。
根路径。 IoTDBServer所在节点的IP地址可在MRS集群管理控制台的“组件管理”界面，单击“IoTDB”，选择“实例”页签查看。 使用SQL语句注册该UDF，语法如下： CREATE FUNCTION <UDF-NAME> AS '<UDF-CLASS-FULL-PATHNAME>'
sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级或者回退的操作。 登录客户端所在节点并执行以下命令： cd /opt/{MRS补丁版本号}/client
RS还没支持的第三方软件，修改集群运行环境等自定义操作。如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点上执行。MRS会使用root用户执行用户指定的脚本，脚本内部可以通过su - xxx命令切换用户。 客户价值 MRS提供了自定义引导操作，用户可以灵活、便捷地配置自己的专属集群，自定义安装软件。
dmin”，进入Ranger WebUI界面。 在Ranger WebUI界面，单击右上角用户名，选择“Log Out”，退出当前用户。 使用rangeradmin用户或者其他具有Ranger管理员权限用户重新登录。rangeradmin用户默认密码请参考用户账号一览表获取。 在Ranger
说明 Scala API 提供Scala语言的API，提供过滤、join、窗口、聚合等数据处理能力。由于Scala语言的简洁易懂，推荐用户使用Scala接口进行程序开发。 Java API 提供Java语言的API，提供过滤、join、窗口、聚合等数据处理能力。 有关Flink的
) + 1000(用户历史消费金额)。 上例所示，运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用HBase shell工具，创建HBase table1和table2，并分别插入数据。 通过HBase创建名为table1的表，命令如下。
组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。 MapReduce的安全认证代码 目前使用统一调用LoginUtil类进行安全认证。 在MapReduce样例工程的“com.huawei.bigdata.mapreduce.ex
GC时间超出阈值，会影响JobHistory进程运行的性能，甚至造成JobHistory进程不可用。 可能原因 该节点JobHistory进程堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为
Hue”，单击“停止服务”。 以root用户登录管理节点，执行ping HUE_FLOAT_IP，检查是否可以ping通。 是，浮动IP已被使用，请重新配置其他IP地址。 否，执行7。 检查是否一次性查询了大量的数据。 是，优化Hue查询，避免一次性查询大量数据。 否，执行8。 联系运维人员。
*******************************************"); // 读取文本路径信息，并使用逗号分隔 final String[] filePaths = ParameterTool.fromArgs(args).get("filePath"
********************************************"); // 读取文本路径信息，并使用逗号分隔 final String[] filePaths = ParameterTool.fromArgs(args).get("filePath"
”章节处理对应的告警。 ALM-45647告警全部恢复后，等待几分钟，检查本告警是否恢复。 是，处理完毕。 否，执行12。 收集故障信息 使用具有当前Flink作业的管理操作权限的用户登录Manager。 选择“运维 > 告警 > 告警 > ALM-45648 RocksDB持续
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
