检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用loader-backup工具备份作业数据 操作场景 通过Loader WebUI或客户端工具loader-tool创建好作业后,可使用loader-backup工具进行数据备份。 仅有数据导出的Loader作业才支持数据备份。 此工具为Loder的内部接口,供上层组件HBas
tableIdentifier 在其中执行MergeInto操作的Hudi表的名称。 target_alias 目标表的别名。 sub_query 子查询。 source_alias 源表或源表达式的别名。 merge_condition 将源表或表达式和目标表关联起来的条件 condition 过滤条件,可选。
在实际应用中,很多场景是查询某一个列值为“XXX”的数据。HBase提供了Filter特性去支持这样的查询,它的原理是:按照RowKey的顺序,去遍历所有可能的数据,再依次去匹配那一列的值,直到获取到所需要的数据。可以看出,可能只是为了获取一行数据,它却扫描了很多不必要的数据。因此,如果对于这样的查询请求非常频繁
CarbonData首查优化工具 工具介绍 CarbonData的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能: 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端,例如安装目录为“/opt/client”。进入目录“/op
率降低,使得文件占用过大,因此不建议使用过长的分隔符。 自定义分隔符必须为可见字符。 自定义分隔符白名单,避免可能的注入问题,目前支持的分隔字符包括:字母、数字、特殊符号(`~!@#$%^&*()\\-_=+\\[\\]{}\\\\|;:'\",<>./?)。 自定义分隔符不能首尾相同。
CarbonData首查优化工具 工具介绍 CarbonData 的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能: 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端,例如安装目录为“/opt/client”。进入 目录“/
Load的导入参数来实现大文件的导入。 处理步骤 根据当前BE实例的个数和待导入文件的大小修改单个BE的任务的最大扫描量和最大并发数。操作如下: 登录FusionInsight Manager,选择“集群 > 服务 > Doris”,在概览界面查看“Leader所在的主机”的IP地址,确认主FE所在节点。
Hadoop压力测试工具如何获取? 问: Hadoop压力测试工具如何获取? 答: Hadoop压力测试工具社区获取地址:https://github.com/Intel-bigdata/HiBench。 父主题: 性能优化类
SQL查询样例介绍 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
提升HBase BulkLoad工具批量加载效率 操作场景 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。 Imp
使用Hive异常文件定位定界工具 操作场景 由于某些异常操作或者磁盘损坏等原因导致Hive存储的数据文件出现异常,异常的数据文件会导致任务运行失败或者数据结果不正确。 该工具用于对常见的非文本类的数据文件格式进行异常排查。 该章节内容仅适用MRS 3.2.0及之后版本。 操作步骤
增强HBase BulkLoad工具数据迁移能力 使用BulkLoad工具批量导入HBase数据 使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 配置Bul
使用BulkLoad工具向HBase迁移数据 HBase的数据都是存储在HDFS中的,数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache
SQL查询样例介绍 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
SQL查询样例介绍 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
使用BulkLoad工具向HBase迁移数据 HBase的数据都是存储在HDFS中的,数据导入即是加载存放在HDFS中的数据到HBase表中。Apache HBase提供了“Import”和“ImportTsv”工具用于批量导入HBase数据。 “Import”通过“org.apache
SQL查询样例介绍 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
SQL查询样例代码说明 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
OpenTSDB提供了客户端工具,可以直接调用相关命令对OpenTSDB进行操作。客户端工具同开源社区版本保持一致,请参见https://opentsdb.net/docs/build/html/user_guide/cli/index.html。 客户端工具使用方法: 登录任意一个Master节点。
Bulkload是HBase提供的一个数据导入工具,它可以将数据批量地导入到HBase表中,直接写入底层数据文件和WAL日志,从而显著提升了数据加载的速度和效率。 BulkLoad方式调用MapReduce的job直接将数据输出成HBase table内部的存储格式的文件HFile,然后将生成的Sto