检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
loader-tool工具使用指导 概述 loader-tool工具是Loader客户端工具之一,包括“lt-ucc”、“lt-ucj”、“lt-ctl”三个工具。 Loader支持通过参数选项或作业模板这两种方式,对连接器进行创建、更新、查询和删除,以及对Loader作业进行创
loader-tool工具使用指导 概述 loader-tool工具是Loader客户端工具之一,包括“lt-ucc”、“lt-ucj”、“lt-ctl”三个工具。 Loader支持通过参数选项或作业模板这两种方式,对连接器进行创建、更新、查询和删除,以及对Loader作业进行创
开源sqoop-shell工具使用指导 概述 sqoop-shell是一个开源的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能: 支持创建和更新连接器 支持创建和更新作业 支持删除连接器和作业 支持以同步或异步的方式启动作业
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 前提条件
客户端工具说明 使用客户端运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
客户端工具说明 使用命令行运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
开源sqoop-shell工具使用指导 概述 本章节适用于MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能: 支持创建和更新连接器 支持创建和更新作业
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS
BulkLoad工具配置文件说明 该章节主要介绍使用BulkLoad工具的其他配置操作以获取需要查看的数据。 配置自定义的组合rowkey 使用BulkLoad工具批量导入HBase数据时,支持用户自定义组合rowkey。BulkLoad组合rowkey即通过一些规则将多个列名经
CarbonData首查优化工具 工具介绍 CarbonData的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能: 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端,例如安装目录为“/opt/client”。进入目录“/op
BulkLoad工具配置文件说明 配置自定义的组合rowkey 使用BulkLoad工具批量导入HBase数据时,支持用户自定义组合rowkey。BulkLoad组合rowkey即通过一些规则将多个列名经过一些自定义处理,组合生成新的rowkey。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。
使用loader-backup工具备份作业数据 操作场景 通过Loader WebUI或客户端工具loader-tool创建好作业后,可使用loader-backup工具进行数据备份。 仅有数据导出的Loader作业才支持数据备份。 此工具为Loder的内部接口,供上层组件HBa
使用BulkLoad工具批量删除HBase数据 操作场景 BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase数据做批量删除。 使用BulkLoad工具批量删除HBase数据 执行如下命令删除从“row_start”到“row_stop”的行,并且
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s
不能针对组合列建立二级索引。 使用BulkLoad工具批量导入HBase数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下
问: MRS节点访问OBS报错408,怎么办? 答: MRS节点访问OBS报错408时,用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题: 作业管理类
CarbonData首查优化工具 工具介绍 CarbonData 的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能: 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端,例如安装目录为“/opt/client”。进入 目录“/
aseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则,例如:setCaching。 使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体
aseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则,例如:setCaching。 使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s