检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
典型场景:从HDFS/OBS导入数据到HBase 操作场景 该任务指导用户使用Loader将文件从HDFS/OBS导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权
作业无法正常运行。 ClickHouse 导入前清理数据 导入前清空原表的数据。“True”为执行清空,“False”为不执行。不配置此参数则默认不执行清空。 说明: 如果导入的表为ClickHouse分布式表,且需要清理数据时,请在导入前手动删除ClickHouse分布式表对应的本地表中的数据。
warehouse_t1 FORMAT CSV" < /opt/warehouse_t1.csv 导入完成后,登录ClickHouse客户端连接导入数据的ClickHouse实例节点,执行查询命令查看导入的结果。 例如,导入完成后查询表warehouse_t1数据,结果如下: clickhouse client
用户需要通过MySQL协议创建Broker Load 导入,并通过查看导入命令检查导入结果。适用以下场景: 源数据在Broker可以访问的存储系统中,如HDFS。 数据量在几十到百GB级别。 支持导入CSV、Parquet、ORC格式的数据,默认支持导入CSV格式数据。 前提条件 已创建包含D
warehouse_t1 FORMAT CSV" < /opt/warehouse_t1.csv 导入完成后,登录ClickHouse客户端连接导入数据的ClickHouse实例节点,执行查询命令查看导入的结果。 例如,导入完成后查询表warehouse_t1数据,结果如下: clickhouse client
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
使全部数据正常导入,避免实际数据字符太长时被部分截取,出现缺失。 使用generic-jdbc-connector导入数据时,在数据转换步骤中,需要将原数据中时间类型数值对应的字段,设置为时间类型,才能精确到秒并完成导入。数据中包含比秒更精确的部分不会被导入。 导入到Hive分区
典型场景:从FTP服务器导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从FTP服务器导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 获取FTP服务器使用的用户和密码,且该用户具备FTP服务器上源文件的读取权限。若源文件在导入后文件名要
说明 示例 文件类型 文件导入后保存的类型: “TEXT_FILE”:导入文本文件并保存为文本文件 “SEQUENCE_FILE”:导入文本文件并保存在“sequence file”文件格式 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件 TEXT_FILE
获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;
获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;
REFRESH TABLE 命令功能 REFRESH TABLE命令用于将已有的Carbon表数据注册到Hive元数据库中。 命令语法 REFRESH TABLE db_name.table_name; 参数描述 表1 REFRESH TABLE参数描述 参数 描述 db_name
${CONDITIONS} 表列名 配置要导入的列,使Loader将列的内容全部导入。配置多个字段时使用“,”分隔。 如果不配置,则导入所有列,同时“Select *”的顺序作为列的位置。 - 分区列名 指定数据库表的一列,根据该列来划分要导入的数据,在Map任务中用于分区。建议配置主键字段。
hbase-examples hbase-example HBase数据读写操作及全局二级索引的应用开发示例。通过调用HBase接口可实现以下功能: 创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能。 MRS 3.3.0及之后版本,可实现创建/删除全局二级索引、修改全局二
REFRESH TABLE 命令功能 REFRESH TABLE命令用于将已有的Carbon表数据注册到Hive元数据库中。 命令语法 REFRESH TABLE db_name.table_name; 参数描述 表1 REFRESH TABLE参数描述 参数 描述 db_name
${CONDITIONS} 表列名 配置要导入的列,使Loader将列的内容全部导入。配置多个字段时使用“,”分隔。 如果不配置,则导入所有列,同时“Select *”的顺序作为列的位置。 - 分区列名 指定数据库表的一列,根据该列来划分要导入的数据,在Map任务中用于分区。建议配置主键字段。
使用Loader从HDFS/OBS导入数据到HBase 操作场景 该任务指导用户使用Loader将文件从HDFS/OBS导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户
作业无法正常运行。 ClickHouse 导入前清理数据 导入前清空原表的数据。“True”为执行清空,“False”为不执行。不配置此参数则默认不执行清空。 说明: 如果导入的表为ClickHouse分布式表,且需要清理数据时,请在导入前手动删除ClickHouse分布式表对应的本地表中的数据。
说明 示例 文件类型 文件导入后保存的类型: “TEXT_FILE”:导入文本文件并保存为文本文件 “SEQUENCE_FILE”: 导入文本文件并保存在“sequence file”文件格式 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件 TEXT_FILE
选择CLICKHOUSE。 - ClickHouse实例 选择ClickHouse。 - 导入前清理数据 选择“true”或“false”。 说明: 如果导入的表为ClickHouse分布式表,且需要清理数据时,请在导入前手动删除ClickHouse分布式表对应的本地表中的数据。 true 单击“保存并运行”,开始保存并运行作业。