检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于列类型转换来说,如果strict mode为true,则错误的数据将被filter。这里的错误数据是指:原始数据并不为空值,在参与列类型转换后结果为空值的这一类数据。对于导入的某列由函数变换生成时,strict mode对其不产生影响。对于导入的某列类型包含范围限制的,如果原始数据能正常通过类型转换,但无法通过范围限制的,strict
Broker Load是一个异步的导入方式,支持的数据源取决于Broker进程支持的数据源。本文为您介绍Broker Load导入的基本原理、基本操作、系统配置以及最佳实践。 适用场景 源数据在Broker可以访问的存储系统中,如HDFS、OBS。 数据量在几十到百GB级别。 基本原理 用户
如何调整数据均衡的灵敏度,调整后有哪些影响? Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(
创建CloudTable集群 功能介绍 创建一个CloudTable集群。 使用接口前,您需要先获取如下资源信息。 通过VPC创建或查询VPC、子网。 通过安全组创建或查询可用的security_group_id。 本接口是一个同步接口,当创建CloudTable集群成功后会返回集群id。 调试
USAGE_PRIV ON WORKLOAD GROUP 'test_group' from 'jack'; 查看租户。 select * from workload_groups(); 删除租户。 mysql> DROP WORKLOAD GROUP if exists 'test_group';
使用Doris 准备弹性云服务 使用MySQL客户端访问集群 Doris MySQL命令简介 父主题: Doris集群管理
根据索引字段查询,能快速过滤数据,减少数据的读取,大大提升查询性能。 【建议】明确数据查询的范围。 增加条件过滤和查询数据周期过滤,缩小数据查询范围。例如查询指定分区,通过指定分区字段会减少底层数据库扫描的文件数量,提升查询性能。例如:700个分区的千列大表,需要查询一个分区中有
不同。 分桶列的选择,是在查询吞吐和查询并发之间的一种权衡: 如果选择多个分桶列,则数据分布更均匀。如果一个查询条件不包含所有分桶列的等值条件,那么该查询会触发所有分桶同时扫描,这样查询的吞吐会增加,单个查询的延迟随之降低。这个方式适合大吞吐低并发的查询场景。 如果仅选择一个或少
合对表数据整体的聚合查询分析而不适合高并发的点查询。 如果OLAP表的是Random Distribution的数据分布,那么在数据导入的时候可以设置单分片导入模式(将load_to_single_tablet设置为true),那么在大数据量的导入的时候,一个任务在将数据写入对应
HBase客户端:1.x版本使用hbase1.x客户端,2.x版本使用hbase2.x客户端。 Doris客户端:普通集群使用开源MySQL客户端,如果是是安全集群使用MySQL8及以上客户端。 ClickHouse客户端:23.x版本使用clickhouse客户端。 安装客户端的操作是否正确
ClickHouse集群创建表格后提示另外一个节点不存在此数据库? 问题现象 创建表格时提示另外一个节点不存在此数据库。 图1 结果示意图 原因分析 在创建集群的时候,只在一节点上创建了数据库在其他的节点上未创建数据库。 处理方法 在其他的节点上创建数据库。 方法一: 创建数据库。 create database
的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。 HBase适用场景有: 海量数据存储。 适用于TB~PB级以上的数据存储,提供动态伸缩能力,方便用户
、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是压缩率和极速查询性能。
如何查看HBase shell的TTL属性? 如果插入数据时,设置了CELL的TTL,TTL属性不支持查看,但是可以通过验证设置的TTL是否生效来确认。 如果插入数据时未设置CELL的TTL,此时系统会自动插入当前时间为时间戳。 父主题: 通用类
下载证书请在集群详情页面下载。 样例代码: public class Main { private static String URL = "jdbc:mysql:loadbalance://" + "[FE1_host]:[FE1_port],[FE2_host]:[FE2_port]
项目ID。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。 获取方法:在CloudTable控制台,单击要查询的集群名称进入集群详情页,获取“集群ID"。请参见获取集群ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Language
host_name from system.clusters; 使用示例 创建数据库demo。 create database demo ON CLUSTER default_cluster; 查看新建的数据库。 host-172-16-30-9 :) show databases;
table 表名; 删除数据表前,需确认此数据表是否应用中,以免引起不必要的麻烦。删除数据表后可在24小时内恢复,超过24小时无法恢复。恢复命令如下: set allow_experimental_undrop_table_query = 1; UNDROP TABLE 数据表名; 父主题:
HBase支持冷热数据分离特性。通过该特性,您可以将冷热数据分别存储在不同类型的存储介质中,以降低存储成本。 在海量大数据场景下,表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低,同时这部分历史数据体量非常大,比如订单数据或者监控数据,如果降低这部分数据的存储成本将会极大的节省企业的成本。
engine_name() 表引擎类型。 双副本版集群建表时,需要使用MergeTree系列引擎中支持数据复制的Replicated*引擎,否则副本之间不进行数据复制,导致数据查询结果不一致。使用该引擎建表时,参数填写方式如下。 ReplicatedMergeTree('/clic