检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在HDFS客户端，执行如下命令获取安全认证。 cd {客户端安装目录} kinit {用于认证的业务用户} 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop
使用IP地址搜索主管理节点并使用VNC登录主管理节点。 在主管理节点，执行以下命令切换用户。 sudo su - omm 在MRS管理控制台，查看指定集群“节点管理”页面的“IP”地址。 记录需使用客户端的Core节点IP地址。 在主管理节点，执行以下命令，将客户端安装包从主管理节点文件拷贝到当前Core节点：
开发和运行环境的基本配置，版本要求如下： 服务端和客户端仅支持集群自带的OpenJDK，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的： X86客户端： Oracle JDK：支持1.8版本； IBM JDK：支持1.8.0.7.20和1.8.0.6.15版本。 ARM客户端： OpenJDK：支持1
开发和运行环境的基本配置，版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的： X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1
x及之后版本。 前提条件 已停止集群。 修改时禁止同时进行其他管理类操作。 更新omm用户ssh密钥 以omm用户登录到需要替换ssh密钥的节点。 如果该节点是Manager管理节点，务必在主管理节点上执行相关操作。 执行以下命令，防止超时退出。 TMOUT=0 执行完本章节操作后，请及时
ResourceManager主节点IP，如10.1.130.11。 操作步骤 以客户端安装用户，登录安装Oozie客户端的节点。 执行以下命令，获取安装环境信息。其中“/opt/client”为客户端安装路径，该操作的客户端目录只是举例，请根据实际安装目录修改。 source /opt/client/bigdata_env
其他参数根据实际需要进行配置。 集群购买完成后安装集群客户端，详细操作请参考安装客户端（3.x版本）。 例如客户端安装路径为“/opt/dorisclient”。 在Doris集群安装MySQL客户端，详细操作请参考使用MySQL客户端连接Doris。 创建拥有Doris管理权限的人机用户（例如用户名为dorisuser），并修改初始密码。
组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统，但是由于网络隔离的原因，用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面，传统的操作方法是需要用户创建ECS，使用ECS远程登录组件的UI，这使得组件的页面UI访问很是繁琐，对于很多初次接触大数据的用户很不友好。
取代码样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site.xml与spark-defaults.conf文件到本地。 在HDFS中上传数据。 在Liunx中新建文本文件data，将如下数据内容保存到data文件中。
准备本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
系统的同名用户拥有访问自身系统中某个资源的对应权限，则可以使用当前系统用户访问远程资源。 直接互信 系统在配置互信的两个集群分别保存对端系统的互信票据，通过互信票据访问对端系统。 父主题： 集群互信管理
ResourceManager主节点IP，如10.1.130.11。 操作步骤 以客户端安装用户，登录安装Oozie客户端的节点。 执行以下命令，获取安装环境信息。其中“/opt/client”为客户端安装路径，该操作的客户端目录只是举例，请根据实际安装目录修改。 source /opt/client/bigdata_env
准备本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
Deactived 如果当前登录的Master1节点是备管理节点，且需要登录到主管理节点时，请执行以下命令： ssh Master2节点IP地址 在Manager查看主备管理节点 当前操作仅适用于MRS 3.x及之后版本。 登录Manager页面，具体操作请参考访问MRS集群Manager。
ox占用内存大。 处理步骤 以root用户分别登录Master节点。 打开文件“/opt/knox/bin/gateway.sh”，查找APP_MEM_OPTS，并设置该参数的值为：“-Xms3072m -Xmx4096m”。 登录Manager页面，在主机列表页面找到主Mast
列表。 以omm用户登录主OMS管理节点。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 依次在告警详情中的节点执行ssh命令：ssh host2（host2为告警详情中OMS节点之外的其他节点），看是否连接失败。 是，执行4。 否，执行6。
配置Yarn本地化日志级别 本章节适用于MRS 3.x及后续版本集群。 配置场景 container本地化默认的日志级别是INFO。用户可以通过配置“yarn.nodemanager.container-localizer.java.opts”来改变日志级别。 配置描述 在Manager系统中，选择“集群
gz的文件名格式，压缩保存在主管理节点“/var/log/Bigdata/audit/bk/”，同时备管理节点会同步保存一个相同的副本。 默认情况下，OMS备份的文件最大保留个数为90，该任务指导系统管理员配置此最大保留个数。 本章节操作仅支持MRS 3.x及之后的版本。 以omm用户登录主管理节点。
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置HTTPS SSL证书。 登录集群任意节点，进入如下目录下载ca
运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK Java/Scala开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
