检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线数据加载:通过Broker Load将ORC格式的Hive数据导入Doris 应用场景 通过Broker Load将ORC格式的Hive表数据导入到Doris。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件。
离线数据加载:通过Doris Catalog读取RDS-MySQL数据并写入Doris 应用场景 通过Doris创建Catalog成功读取RDS-MySQL数据并写入Doris,并按照Unique指定字段自动去重。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件。
如果一个HDFS目录已创建快照,那么在快照完全删除以前,此目录无法删除或修改名称。该目录的上级目录或子目录也无法再创建快照。
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase,将dataFrame写入HBase中,并从HBase读取数据以及对读取的数据进行过滤等操作。
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase,将dataFrame写入HBase中,并从HBase读取数据以及对读取的数据进行过滤等操作。
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase,将dataFrame写入HBase中,并从HBase读取数据以及对读取的数据进行过滤等操作。
使用Get读取HBase数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。
在特定的数据格式的情况下,KryoSerializer的性能可以达到JavaSerializer的10倍以上,而对于一些Int之类的基本类型数据,性能的提升就几乎可以忽略。
本章节适用于MRS 3.3.0及之后版本,提供了新增字段、修改字段类型、修改字段名称、删除字段等DDL变更操作指导。
关闭成功之后,删除表,HBase表对应的数据目录被删掉。 在删除表之后,该数据目录会被还处于flush memstore阶段的Region重新创建。
查询结果的多行数据保存在ResultScanner对象中,每行数据以Result对象形式存储,Result中存储了多个Cell。
读取HBase表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据 删除HBase表数据 删除HBase二级索引 删除HBase表 创建Phoenix表 向Phoenix表中插入数据 读取Phoenix表数据 配置HBase应用输出日志 父主题
表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据 删除HBase表数据 删除HBase二级索引 删除HBase表 创建Phoenix表 向Phoenix表中插入数据 读取Phoenix表数据 配置HBase应用输出运行日志 父主题: 开发
集群启用了Ranger鉴权,需参考添加Hive的Ranger访问权限策略章节授予用户对应数据库的Repl Dump/Load操作权限。 删除设置了复制策略源的数据库时,需要先将该数据库的复制策略源设置为空,再对数据库执行删除操作,否则无法删除。
INSERT INTO插入表数据 本章节主要介绍ClickHouse插入表数据的SQL基本语法和使用说明。 基本语法 方法一:标准格式插入数据。
ClickHouse数据导入导出 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。
组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中,本章节用于指导用户设置OBS文件系统内回收站目录的生命周期策略,以定时自动清理相关数据。
建议不要删除正在运行应用程序的队列。 父主题: Yarn常见问题
典型场景:从关系型数据库导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。
因此使用hive sync时有以下约束: 写入数据Schema只允许增加字段,不允许修改、删除字段。 分区目录只能新增,不会删除。 Overwrite覆写Hudi表不支持同步覆盖Hive表。 Hudi同步Hive表时,不支持使用timestamp类型作为分区列。