MAPREDUCE服务 MRS-loader-tool工具使用指导:概述

时间:2024-11-28 01:44:16

概述

loader-tool工具是Loader客户端工具之一,包括“lt-ucc”“lt-ucj”“lt-ctl”三个工具。

Loader支持通过参数选项或作业模板这两种方式,对连接器进行创建、更新、查询和删除,以及对Loader作业进行创建、更新、查询、删除、启动和停止等操作。

loader-tool工具是异步接口,命令提交后其结果不会实时返回到控制台,因此对连接器的创建、更新、查询和删除等操作,以及对Loader作业的创建、更新、查询、删除、启动和停止等操作,其成功与否需要在Loader WebUI确认或通过查询server端日志确认。

  • 参数选项方式:

    通过直接添加具体配置项的参数调用脚本。

  • 作业模板方式:

    修改作业模板中所有配置项的参数值,调用脚本时引用修改后的作业模板文件。

    Loader客户端安装后,系统自动在“Loader客户端安装目录/loader-tools-1.99.3/loader-tool/job-config/”目录生成各种场景对应的作业模板,不同模板中配置项存在差异。作业模板中包含作业信息以及关联的连接器信息。

    作业模板为xml文件,文件名格式为“数据原保存位置-to-数据新保存位置.xml”,例如“sftp-to-hdfs.xml”。如果此场景的作业支持转换步骤,则存在同名的转换步骤配置文件,文件类型为json,例如“sftp-to-hdfs.json”

    作业模板中包含了连接器的配置信息。创建、更新连接器时,实际上仅调用到作业模板中的连接器的信息。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1157.html