检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 监控数据上传”，查看监控数据上传页面配置的FTP用户名、密码、端口、转储模式、公钥是否与服务器端配置一致。 是，执行5。 否，执行4。 填入正确的配置信息，然后单击“确定”，检查告警是否恢复。 是，执行完毕。 否，执行5。 查看服务器端保存路径权限是否正常。 选择“系统 > 对接
多CPU内核下的MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。
获取运行状态的Oozie服务器主机名，如“10-1-130-10”。 获取Yarn ResourceManager主节点IP，如10.1.130.11。 操作步骤 以客户端安装用户，登录安装Oozie客户端的节点。 执行以下命令，获取安装环境信息。其中“/opt/client”为客户端安装路径，该
2-LTS.2.9 发布时间 2023-04-30 安装前处理 如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 新特性和优化 MRS Manager MRS客户端支持通过FI manager/公有云Console更新配置 大数据组件 MRS支持对接lakeformation
keytab文件上传到客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 安装Scala Scala开发环境的基本配置。版本要求：2.12.10。 安装Scala插件 Scala开发环境的基本配置。版本要求：2018.2.11或其他兼容版本。 安装Editra Python开发环境的编辑器，用于编写Python程序。或者使用其他编写Python应用程序的IDE。
在弹性云服务管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息，请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 使用本机访问MR
配置DBService HA模块的SSL 操作场景 本任务将对安装DBService的集群进行手动配置DBService服务HA模块SSL的操作。 执行该操作后，如需还原，请执行还原DBService HA模块的SSL配置。 前提条件 MRS集群内主、备DBService节点的“
6及以后版本，用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。 操作步骤 启动ZooKeeper客户端 以root用户登录安装了ZooKeeper客户端的服务器。 进入客户端安装目录。 cd /opt/client
业时，必须对已安装的Loader客户端进行配置。 Loader不兼容旧版本客户端，如果重新安装集群或Loader服务，请重新下载并安装客户端，然后正常使用客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 完成Loader客户端的安装。使用非root用户安装Loader客
in/start-balancer.sh -threshold 10 其中“/opt/client”是实际的客户端安装目录。 针对新写入数据，将客户端安装在没有安装DataNode的节点。 父主题： 使用HDFS
多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。
6及以后版本，用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。 操作步骤 启动ZooKeeper客户端 以root用户登录安装了ZooKeeper客户端的服务器。 进入客户端安装目录。 cd /opt/client
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输
tar”，继续解压该文件。 进入客户端配置文件解压路径的“HBase\config”，获取HBase表1中相关配置文件。 表1 配置文件 配置文件 作用 core-site.xml 配置Hadoop Core详细参数。 hbase-site.xml 配置HBase详细参数。 hdfs-site
前提条件 已安装客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。 操作步骤 安装客户端，具体请参考安装客户端章节。 以客户端安装用户，登录安装客户端的节点。
0.7补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2.x及之前版本）。
如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ IDEA 开发环境的基本配置。版本要求：JDK使用1.8版本，IntelliJ IDEA使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle
方法一：申请一台Windows的ECS访问MRS集群操作Impala，在安装开发环境后可直接运行样例代码。 在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”，以及Master节点的“默认安全组”。 在弹性云服务管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用
策略内容。 对于同一个固定资源对象通常只能配置一条策略，多条策略针对的具体资源对象重复时将无法保存。 配置策略时，不同条件的优先级可参考Ranger权限策略条件判断优先级。 Ranger权限策略条件判断优先级 配置资源的权限策略时，可配置针对该资源的允许条件（Allow Cond
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
