检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Loader导入数据至MRS集群 使用Loader从SFTP服务器导入数据到HDFS/OBS 使用Loader从SFTP服务器导入数据到HBase 使用Loader从SFTP服务器导入数据到Hive 使用Loader从FTP服务器导入数据到HBase 使用Loader从关系型数据库导入数据到HDFS/OBS
set:”选择“UTF-8”。 单击“Open”登录云服务器。 如果首次登录云服务器，PuTTY会显示安全警告对话框，询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 建立到云服务器的SSH连接后，根据提示输入用户名和密码登录弹性云服务器。 用户名、密码分别是root和创建集群时设置的密码。
表示此用户对应的密码。需要与实际密码保持一致。 表2 ftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。 连接器 选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。 FTP协议 选择： FTP SSL_EXPLICIT SSL_IMPLICIT
表示此用户对应的密码。需要与实际密码保持一致。 表2 ftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。 连接器 选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。 FTP协议 选择： FTP SSL_EXPLICIT SSL_IMPLICIT
保存最终数据的数据表名称。 ftp-connector或sftp-connector 表3 ftp-connector或sftp-connector目的连接属性 参数 说明 写入目录 最终数据在文件服务器保存时的具体目录。必须指定一个目录。 文件格式 Loader支持文件服务器中存储数据的文件格式，默认支持以下两种：
查看、设置用户磁盘配额 HDFS管理操作权限： 查看webUI页面状态 查看、设置HDFS主备状态 进入、退出HDFS安全模式 检查HDFS文件系统 登录FTP服务 请参见修改MRS集群组件运行用户密码。 hbase Hbase@123 HBase，HBase1~4系统管理员，用户权限： 集群管理
Where子句 表示读取数据库时使用的查询语句。 ftp-connector或sftp-connector 表3 ftp-connector或sftp-connector数据源连接属性 参数 说明 源目录或文件 源数据实际存储的形态，可能是文件服务器包含一个目录中的全部数据文件，或者是单个数据文件。
API，可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中，Web服务器是JobManager的一个模块，和JobManager共进程。默认情况下，web服务器监测的端口是8081，用户可以在配置文件“flink-conf.yaml”中配置“jobmanager
API，可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中，Web服务器是JobManager的一个模块，和JobManager共进程。默认情况下，web服务器监测的端口是8081，用户可以在配置文件“flink-conf.yaml”中配置“jobmanager
API，可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中，Web服务器是JobManager的一个模块，和JobManager共进程。默认情况下，web服务器监测的端口是8081，用户可以在配置文件“flink-conf.yaml”中配置“jobmanager
API，可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中，Web服务器是JobManager的一个模块，和JobManager共进程。默认情况下，web服务器监测的端口是8081，用户可以在配置文件“flink-conf.yaml”中配置“jobmanager
L语句涉及敏感信息，请使用Spark Script提交。 提交SparkSQL作业 运维管理 MRS提供的集群的资源是完全属于用户的，MRS提供多种方式帮助用户维护集群的正常运行。 集群运维 登录集群 在创建集群时，MRS支持指定使用密钥或密码的方式登录ECS后台。 登录MRS集
访问Presto的WebUI 用户可以通过Presto的WebUI，在图形化界面查看Presto的统计信息。Presto的WebUI界面不支持使用IE浏览器访问，建议使用Google浏览器访问。 前提条件 已安装Presto服务的集群。 已安装集群客户端，例如安装目录为“/opt
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用spark-sql操作Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 Hudi数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值
根据本地历史数据备份策略，集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器，如果转储服务器满足配置条件，审计日志可以成功转储。审计日志转储失败，系统产生此告警。如果第三方服务器的转储目录磁盘空间不足，或者用户修改了转储服务器的用户名、密码或转储目录，将会导致审计日志转储失败。
告警解释 根据本地历史数据备份策略，集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件，审计日志可以成功转储。审计日志转储失败，系统产生此告警。如果第三方服务器的转储目录磁盘空间不足，或者用户修改了转储服务器的用户名、密码或转储目录，将会导致审计日志转储失败。 告警属性
操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 前提条件 已安装并配置Loader客户
操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器，登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例：Maven工程打包到Linux下运行样例 执行mvn package生成j
sight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。 配置MRS集群对接SNMP网管平台上报告警 登录Manager，进入SNMP配置界面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
