正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
component14 -export-dir obs://obs-file-bucket/xx/part-m-00000 --fields-terminated-by ',' -m 1 sqoop import(MySQL到obs) sqoop import --connect
1-mrs-x.x.x.jar hive-metastore-1.2.1.spark_2.2.1-mrs-x.x.x.jar 华为云Maven库请参考指导通过开源镜像站获取样例工程。 父主题: 使用Spark
Kafka的客户端程序当前推荐使用java语言进行开发,并使用Maven工具构建工程。 准备Maven和JDK 准备运行环境 Kafka的样例程序运行环境即MRS服务所VPC集群的节点。 - 准备工程 Kafka提供了不同场景下的样例程序,您可以下载样例工程进行程序学习。或者您可以根据指导,新建一个Kafka工程。 导入并配置Kafka样例工程
Structure”页面中,选择“SDKs”,单击加号添加JDK。 图5 添加JDK 在弹出的“Select Home Directoty for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图6 选择JDK目录 完成JDK选择后,单击“OK”完成配置。 图7 完成JDK配置 (可选)如果是Scala开发环境,还需要在IntelliJ
information. 客户端机器必须安装有setuptools。 通过官方网站下载软件,下载地址:https://pypi.org/project/setuptools/#files。 将下载的setuptools压缩文件复制到客户端机器上,解压后进入setuptools项目
安装补丁 将从OBS路径中下载的补丁(MRS_3.1.0_TROS_Tools_patch_20240430.tar.gz)工具放至主OMS节点的“/home/omm”目录下。 执行如下命令下载补丁,如果已存在,可跳过此步骤。 wget ${补丁下载地址} 补丁下载地址请参考补丁下载地址。
information. 客户端机器必须安装有setuptools。 通过官方网站下载软件,下载地址:https://pypi.org/project/setuptools/#files。 将下载的setuptools压缩文件复制到客户端机器上,解压后进入setuptools项目
其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调试命令也跟着改变,比如Port设置为5006,对应调试命令会变更为-Xdebug -Xrunjdwp:transport=dt_socket
Structure”页面中,选择“SDKs”,单击加号添加JDK。 图5 添加JDK 在弹出的“Select Home Directoty for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图6 选择JDK目录 完成JDK选择后,单击“OK”完成配置。 图7 完成JDK配置 (可选)如果是Scala开发环境,还需要在IntelliJ
Structure”页面中,选择“SDKs”,单击加号添加JDK。 图5 添加JDK 在弹出的“Select Home Directoty for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图6 选择JDK目录 完成JDK选择后,单击“OK”完成配置。 图7 完成JDK配置 (可选)如果是Scala开发环境,还需要在IntelliJ
已安装MRS客户端的节点,且已安装 jdk环境。 Sqoop1.4.7适配步骤 下载开源sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz包(下载地址http://archive.apache.org/dist/sqoop/1.4.7/)。 将下载的sqoop-1.4.7
beeline不打印日志的问题 解决Yarn页面上active node数目不对问题 解决RM线程数过多导致RM页面打开慢问题 支持OBS监控 OBS包升级 解决hive-jdbc并发插入10条数据时部分数据未插入问题 解决hive偶现报kryo反序列化失败问题 解决Spark jobhistory内存泄漏问题
查询作业exe对象列表(废弃) 功能介绍 查询所有作业的exe对象列表。该接口不兼容Sahara。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1.
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权 登录MRS管理控制台。
py)即可。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,下载样例工程到本地。 将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import
若产生以下错误提示,可执行命令export JAVA_HOME=JDK路径进行处理。可使用echo $JAVA_HOME查找JDK路径。 JAVA_HOME is null in current user,please install the JDK and set the JAVA_HOME 集
行环境等自定义操作。 MRS支持WrapperFS特性,提供OBS的翻译能力,兼容HDFS到OBS的平滑迁移,解决客户将HDFS中的数据迁移到OBS后,即可实现客户端无需修改自己的业务代码逻辑的情况下,访问存储到OBS的数据。 MRS支持自动弹性伸缩,相对自建Hadoop集群的使用成本更低。
账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Regio
E}/namenode/data”,该参数用于确定HDFS文件系统的元数据信息的保存路径。 HDFS需要开启NameNode镜像备份 NameNode的镜像备份参数为“fs.namenode.image.backup.enable”,需要设置该值为“true”,系统即可定期备份NameNode的数据。
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Oozie”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此