检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理? 问: 退订MRS集群后,在ECS中退订弹性云服务器时报异常如何处理? 答: 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
表示此用户对应的密码。需要与实际密码保持一致。 表2 ftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。 连接器 选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。 FTP协议 选择: FTP SSL_EXPLICIT SSL_IMPLICIT
表示此用户对应的密码。需要与实际密码保持一致。 表2 ftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。 连接器 选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。 FTP协议 选择: FTP SSL_EXPLICIT SSL_IMPLICIT
Where子句 表示读取数据库时使用的查询语句。 ftp-connector或sftp-connector 表3 ftp-connector或sftp-connector数据源连接属性 参数 说明 源目录或文件 源数据实际存储的形态,可能是文件服务器包含一个目录中的全部数据文件,或者是单个数据文件。
从零开始使用Loader 用户可以使用Loader将数据从SFTP服务器导入到HDFS。 本章节适用于MRS 3.x之前版本。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 访问Loader页面。 登录集群详情页面,选择“服务管理”。 选择“Hue”,在“Hue概述”的“Hue WebUI”,单击“Hue
set:”选择“UTF-8”。 单击“Open”登录云服务器。 如果首次登录云服务器,PuTTY会显示安全警告对话框,询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 建立到云服务器的SSH连接后,根据提示输入用户名和密码登录弹性云服务器。 用户名、密码分别是root和创建集群时设置的密码。
None 功能介绍 MapReduce服务 MRS 服务介绍 04:08 MapReduce服务介绍 云容器引擎 CCE 简介 07:25 云容器引擎简介 云容器引擎 CCE 服务介绍 03:23 云容器引擎服务介绍 特性讲解 MapReduce服务 MRS MRS集群存算分离方案介绍
警信息。 查看告警列表 滚动重启服务 在修改了大数据组件的配置项后,需要重启对应的服务来使得配置生效,使用普通重启方式会并发重启所有服务或实例,可能引起业务断服。为了确保服务重启过程中,尽量减少或者不影响业务运行,可以通过滚动重启来按批次重启服务或实例(对于有主备状态的实例,会先
操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 前提条件 已安装并配置Loader客户
操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器,如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。
使用场景 不同的连接器或作业的配置项不同。 更新个别配置项时,使用参数选项方式。 创建连接器或作业时,使用作业模板方式。 本工具目前支持FTP、HDFS、JDBC、MySQL、Oracle以及Oracle专用连接器,如果使用其他类型连接器,建议使用开源sqoop-shell工具。
使用场景 不同的连接器或作业的配置项不同。 更新个别配置项时,使用参数选项方式。 创建连接器或作业时,使用作业模板方式。 本工具目前支持FTP、HDFS、JDBC、MySQL、Oracle以及Oracle专用连接器,如果使用其他类型连接器,建议使用开源sqoop-shell工具。
告警解释 根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。 告警属性
Flume与其他组件的关系 Flume与HDFS的关系 当用户配置HDFS作为Flume的Sink时,HDFS就作为Flume的最终数据存储系统,Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景:从本地采集静态日志保存到HDFS和典型场景:从本地采集动态日志保存到HDFS。
显示用户选择字段的类型。 行键 “目的连接”为hbase-connector类型时,需要勾选作为行键的“目的字段”。 如果From是sftp/ftp/obs/hdfs等文件类型连接器,Field Mapping 样值取自文件第一行数据,需要保证第一行数据是完整的,Loader作业不会抽取没有Mapping上的列。
配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口(21351),其余的可根据业务需求配置。 10.0
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器,登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例:Maven工程打包到Linux下运行样例 执行mvn package生成j
配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口(21351),其余的可根据业务需求配置。 10.0
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架,基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业(application/job)通常会把输