检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤2：准备应用运行环境 更多 技术专题 技术、观点、课程专题呈现 深入解密MRS技术 从MRS介绍、特性及实战维度，帮助您了解和使用MRS 华为云大数据技术解密 华为云大数据技术私享会资料下载 华为云EI企业智能 华为云EI基于AI和大数据技术，通过云服务的方式提供开放可信的平台。 智能客服
Loader作业目的连接配置说明 管理Loader作业 准备MySQL数据库连接的驱动 数据导入 数据导出 作业管理 算子帮助 客户端工具说明 Loader日志介绍 样例：通过Loader将数据从OBS导入HDFS Loader常见问题
配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据导入导出 父主题： 使用ClickHouse
-table <table-name> MySQL中用于存放导出数据的表名称。 -export-dir <dir> 需要导出的Sqoop表所在的HDFS路径。 --fields-terminated-by 指定导出数据的分隔符，与需要导出的HDFS中的数据表中的分隔符保持一致。 -m或-num-mappers
管理Loader作业 批量迁移Loader作业 批量删除Loader作业 批量导入Loader作业 批量导出Loader作业 查看Loader作业历史信息 清理Loader作业残留历史数据 管理Loader数据连接 父主题： 使用Loader
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 配置ClickHouse对接HDFS源文件（MRS 3.2.0-LTS） 配置ClickHouse对接HDFS源文件（MRS 3.3.0-LTS及之后版本）
中的keytab文件可用于认证用户身份。 该任务指导管理员用户通过Manager下载用户认证文件并导出keytab文件。 修改用户密码后，之前导出的keytab将失效，需要重新导出。 前提条件 下载“人机”用户的认证凭据文件前，需要使用Manager界面或者客户端修改过一次此用户
n执行Distcp进行复制。 数据快递服务（DES） 对于TB或PB级数据上云的场景，华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据复制到DES盒子，快递服务将数据递送到华为云机房，然后通过云数据迁移 CDM将DES盒子数据复制到HDFS。 父主题： 数据迁移方案介绍
典型场景：从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
消数据导出操作。 如果数据导出命令中没有设置-s参数，则输入yes后，还需输入要导出数据的查询语句，不同的查询结果会被保存到不同的CSV文件中。例如，导出指定数据库下设备为d1的所有数据，则命令为： select * from root.y4.r1.s1.d1; 图7 导出IoTDB数据至CSV文件中
集群创建类 如何使用自定义安全组创建MRS集群？ 购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理？ 购买MRS集群时，找不到ZooKeeper组件如何处理？ 购买MRS集群提交订单时报无效认证如何处理？
如何调用API 构造请求 认证鉴权 返回结果
打包Storm样例工程应用 操作场景 通过IntelliJ IDEA导出Jar包并指定导出jar包名称，比如“storm-examples.jar”。 操作步骤 若Storm-JDBC样例需要在Windows下运行，则需要替换配置文件路径；否则，不需要执行此步骤。 在IDEA界面右键单击“jdbc
打包Strom样例工程应用 操作场景 通过IntelliJ IDEA导出Jar包并指定导出jar包名称，比如“storm-examples.jar”。 操作步骤 若Storm-JDBC样例需要在Windows下运行，则需要替换配置文件路径；否则，不需要执行此步骤。 在IDEA界面右键单击“jdbc
新建连接”，连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数，如图3所示。 名称：用户自定义连接名称，例如“obslink”。 OBS终端节点、端口：配置为OBS实际的地址信息。 OBS类型：保持默认。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK信息。
在运行调测环境上创建一个目录作为运行目录，如或“/opt/presto_examples”(Linux环境)，并在该目录下创建子目录“conf”。 将1导出的presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar拷贝到“/opt/presto_examples”下。
确保用户已授权访问作业执行时操作的HDFS/OBS目录、HBase表和数据。 获取外部数据源（SFTP服务器或关系型数据库）使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP、FTP和HDFS/OBS导入数据时，确保外部数据源的输入
双击指定的算子进入编辑页面，在输入或输出字段的参数表格添加相应配置信息，单击“导出”。 选择导出的类型。 所有 所有的字段信息将以json文件格式导出保存到本地。 指导字段 在字段列表上勾选需要导出的字段以json文件格式导出保存到本地。 单击“确定”，完成导出操作。 父主题： Loader算子帮助
如存储数据到HDFS和HBase，从HDFS和HBase表读数据，同时Loader本身也是一个Mapreduce客户端程序，完成一些数据导入导出任务。 Loader通过MapReduce作业实现并行的导入或者导出作业任务，不同类型的导入导出作业可能只包含Map阶段或者同时Map和Reduce阶段。
上传MySQL数据库连接驱动 操作场景 Loader作为批量数据导出的组件，可以通过关系型数据库导入、导出数据。在连接关系型数据库前，需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点，获取关系型数据库对应的驱动jar
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
