检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表2 数据来源配置参数 参数名 解释说明 示例 输入目录 从HDFS/OBS导出时的输入路径。 说明： 路径参数可以使用宏定义，具体请参考配置项中使用宏定义。 /user/test 路径过滤器 配置通配符对源文件的输入路径包含的目录进行过滤。“输入目录”不参与过滤。配置多个过滤条件时使用“
元数据导出 为了保持迁移后数据的属性及权限等信息在目标集群上与源集群一致，需要将源集群的元数据信息导出，以便在完成数据迁移后进行必要的元数据恢复。 需要导出的元数据包括HDFS文件属主/组及权限信息、Hive表描述信息。 HDFS元数据导出 HDFS数据需要导出的元数据信息包括文
际安装目录修改。 购买ELB并配置对接ClickHouse 购买ELB并获取其私有IP地址 详细操作步骤请参考创建共享型负载均衡器。 登录“弹性负载均衡器”控制台，在“负载均衡器”界面单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面，“实例规格类型”选择“共享型”，“所属V
件的服务配置页面搜索“query_port”查看。 单击“下一步：确认配置”确认配置。 确认配置无误后，单击“提交”完成ELB配置。 单击创建的监听器所在行的“查看/添加后端服务器”，在“后端服务器”界面查看ELB与后端服务器连接是否正常。 在MySQL客户端使用ELB访问Doris
表3 输出设置参数 参数名 解释说明 示例 输出路径 导出文件在HDFS/OBS的输出目录或者文件名。 说明： 路径参数可以使用宏定义，具体请参考Loader算子配置项中使用宏定义。 /user/test 文件格式 文件导出类型： “TEXT_FILE”：导入文本文件并保存为文本文件。
aadmin组，普通模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env
数据库表名，用于最终保存传输的数据。 说明： 表名可以使用宏定义，具体请参考配置项中使用宏定义。 test 临时表 数据库临时表表名，用于临时保存传输过程中的数据，字段需要和“表名”配置的表一致。 说明： 使用临时表是为了使得导出数据到数据库时，不会在目的表中产生脏数据。只有在所有数据成功写入
从HDFS/OBS导出时的输入路径。 说明： 路径参数可以使用宏定义，具体请参考Loader算子配置项中使用宏定义。 /user/test 路径过滤器 配置通配符对源文件的输入路径包含的目录进行过滤。“输入目录”不参与过滤。配置多个过滤条件时使用“,”隔开，配置为空时表示不过滤目录。不支持正则表达式过滤。
使用Loader导出数据 操作场景 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 前提条件 创建或
数据库表名，用于最终保存传输的数据。 说明： 表名可以使用宏定义，具体请参考Loader算子配置项中使用宏定义。 test 临时表 数据库临时表表名，用于临时保存传输过程中的数据，字段需要和“表名”配置的表一致。 说明： 使用临时表是为了使得导出数据到数据库时，不会在目的表中产生脏数据。只有在所有数据成功写入
关的业务数据进行删除。 MRS集群配置存算分离后，组件可以对接访问OBS文件系统，同时也可以继续访问集群内的HDFS文件系统，具体请参考配置MRS集群通过IAM委托对接OBS。 存算分离功能使用流程： 配置存算分离集群。 请选择如下其中一种配置即可（推荐使用委托方式）。 通过为M
管理Loader算子的字段配置信息 操作场景 该任务指导用户在创建或编辑Loader作业时关联、导入或导出算子的字段配置信息。 关联操作 将输入算子的字段配置信息关联到输出算子中。 编辑操作 编辑算子配置参数中的字段信息。 导入操作 通过算子导出文件或算子模板文件将字段配置信息导入到算子中。
Presto如何配置其他数据源？ 本指导以连接MySQL数据源为例。 MRS 1.x及MRS 3.x版本。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Presto”。设置“参数类别”为“全部配置”，进入Presto配置界面修改参数配置。 搜索“co
配置MRS集群通过IAM委托对接OBS MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算模式。MRS通过IAM服务的“委托”机制进行简单配置， 实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 通过绑定委托
选择“sftp-connector”，单击“添加”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。
概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 选择“HBase > 服务配置”，将“基础配置”切换为“全部配置”，进入HBase配置界面修改参数配置。 表1 HBase参数说明 参数 参数说明 参数值 hbase.regionserver.hfile.durable
输入目录 从HDFS/OBS导出时的输入路径。 说明： 路径参数可以使用宏定义，具体请参考配置项中使用宏定义。 /user/test 路径过滤器 配置通配符对源文件的输入路径包含的目录进行过滤。“输入目录”不参与过滤。配置多个过滤条件时使用“,”隔开，配置为空时表示不过滤目录。不支持正则表达式过滤。
选择“sftp-connector”，单击“添加”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
ClickHouse数据导入导出 使用ClickHouse客户端导入导出数据 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 CSV格式数据导入 clickhouse client --host 主机名/ClickHouse实例IP地址 --database
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
