检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
组件,请创建集群时勾选即可。 本章节仅适用于MRS 3.0.2及MRS 3.0.5版本。 前提条件 已安装MRS客户端的节点,且已安装 jdk环境。 Sqoop1.4.7适配步骤 下载开源sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz包(下载地址http://archive
hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和
hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和
jobhistory偶现无法显示application列表问题 MRS 1.9.0.3 修复问题列表: MRS Manager MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS大数据组件 解决Ranger日志不能设置个数,有撑满磁盘风险的问题 MRS
全部操作请参见API概览。 在调用MRS服务API之前,请确保已经充分了解MRS服务相关概念,详细信息请参见产品介绍。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。如果仍需使用V1.1作业管理接口,请在历史API中,获取相关接口。 终端节点
主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装HBase客户端时: Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
jobhistory偶现无法显示application列表问题 MRS 1.9.0.3 修复问题列表: MRS Manager MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS大数据组件 解决Ranger日志不能设置个数,有撑满磁盘风险的问题 MRS
用于日常备份,确保系统及组件的数据安全。 当系统故障导致无法工作时,使用已备份的数据完成恢复操作。 当主集群完全故障,需要创建一个与主集群完全相同的镜像集群,可以使用已备份的数据完成恢复操作。 表1 根据业务需要备份元数据(MRS 2.x及之前版本) 备份类型 备份内容 OMS 默认备份集
3为例,提示Successfully installed JayDeBeApi-1.2.3表示已安装成功。 客户端机器必须安装Java,支持的版本可参考表1中的“安装JDK”。 获取Python3样例代码。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hetu-examples”目录下的样
3为例,提示Successfully installed JayDeBeApi-1.2.3表示已安装成功。 客户端机器必须安装Java,支持的版本可参考表1中的“安装JDK”。 获取Python3样例代码。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hetu-examples”目录下的样
mples”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”;如无特殊需求,使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成导入。 工程导入完成后,修改样例工程的“conf”目录下的“clickhouse-example.prope
s”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”,如无特殊需求,相关配置使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成样例工程导入。 工程导入完成后,修改样例工程的“conf”目录下的“clickhouse-example.p
加备份数量不能提升系统效率,只会提升系统数据的安全系数;在某个节点损坏时,该节点上的数据会被均衡到其他节点上。 HDFS定期镜像备份 NameNode的镜像备份参数为“fs.namenode.image.backup.enable”,将设置该值为“true”,系统即可定期备份NameNode的数据。
图1 节点管理 在云服务器详情页面中,选择“基本信息”页签,进入云服务器基本信息页面后,在“云服务器信息”栏中确认“镜像”中EulerOS的操作系统版本。 查看说明:镜像中显示的EulerOS_2.10_x86_64,则代表操作系统为Linux系统版本(X86架构)、版本为EulerOS
切换为omm用户,进入拷贝目录下“/opt/example”,首先确保conf目录下和依赖库文件目录下的所有文件,对当前用户均具有可读权限;同时保证已安装jdk并已设置java相关环境变量,然后执行命令,如java -cp .:/opt/example/conf:/opt/example/kafka-examples-lib/*
property 若产生以下错误提示,可执行命令export JAVA_HOME=JDK路径进行处理。 JAVA_HOME is null in current user,please install the JDK and set the JAVA_HOME 执行echo $SCC_PR
在Core节点组中勾选任意一个Core节点,单击“节点操作 > 停止所有角色”。 登录Core节点后台,参考如何使用自动化工具配置华为云镜像源(x86_64和ARM)?配置yum源。 使用uname -r或rpm -qa |grep kernel命令,查询并记录当前节点内核版本。
在Manager界面创建用户并开通其HDFS、YARN、Kafka和Hive权限。 根据所用的开发语言安装并配置IntelliJ IDEA及JDK等工具。 已完成Spark2x客户端的安装及客户端网络连接的配置。 对于Spark SQL程序,需要先在客户端启动Spark SQL或Beeline以输入SQL语句。
ample”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”;如无特殊需求,使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成导入。 工程导入完成后,修改样例工程的“conf”目录下的“clickhouse-example.prope
e”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”,如无特殊需求,相关配置使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成样例工程导入。 工程导入完成后,修改样例工程的“conf”目录下的“clickhouse-example.p