检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于列类型转换来说,如果strict mode为true,则错误的数据将被filter。这里的错误数据是指:原始数据并不为空值,在参与列类型转换后结果为空值的这一类数据。对于导入的某列由函数变换生成时,strict mode对其不产生影响。对于导入的某列类型包含范围限制的,如果原始数据能正常通过类型转换,但无法通过范围限制的,strict
HBase集群写入数据大小不能超过多少? 问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡主,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类
样例代码 此章节主要介绍CloudTable Doris冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。 样例代码 自动存储冷数据。 创建冷数据自动归档到冷存储的数据迁移策略testPolicy。 CREATE STORAGE POLICY testPolicy PROPERTIES(
已提前准备好对接的RDS数据库实例及数据库用户名、密码。详细操作可以参考创建和连接RDS数据库实例。 已成功创建ClickHouse集群且集群和实例状态正常。 约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。 在进行数据同步操作时需要评估对源数据库和目标数据库性能的影
ClickHouse集群创建表格后提示另外一个节点不存在此数据库? 问题现象 创建表格时提示另外一个节点不存在此数据库。 图1 结果示意图 原因分析 在创建集群的时候,只在一节点上创建了数据库在其他的节点上未创建数据库。 处理方法 在其他的节点上创建数据库。 方法一: 创建数据库。 create database
); 将OBS数据导入到Doris表。 构造text数据100条,该数据与Doris表字段对应,将数据上传到OBS桶。 fs.obs.access.key, fs.obs.secret.key,fs.obs.endpoint获取方式如下所示: fs.obs.access.key与fs
图2 切换到创建的Catalog 查看映射过来的数据库。 show databases; 图3 查看数据库 使用数据库。 use 数据库名; 图4 使用数据库 查看数据库表。 show tables; 图5 查看数据库表 父主题: 数据读写类
NOT EXISTS关键字,则当数据库已经存在时,该语句不会创建数据库,且不会返回任何错误。 ON CLUSTER ClickHouse集群名 用于指定集群名称。 集群名信息可以使用以下语句的cluster字段获取: select cluster,shard_num,replica_num
HBase表格存储的每日新增数据使用量怎么查看? HBase集群无法查看单个表的增量值,需要通过后台帮您查询,或者可以通过控制台查看每日新增数据,查看详情页已经使用的存储容量,通过记录存储容量值计算增量。 父主题: 数据读写类
如何调整数据均衡的灵敏度,调整后有哪些影响? Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(
分区键。一般按照日期分区,也可以使用其他字段或字段表达式。 示例: 创建数据库。请参见CREATE DATABASE。 使用数据库。 use demo; 创建名为demo.test表。 CREATE TABLE demo.test ON CLUSTER default_cluster(`EventDate` DateTime
由于创建表格的命令中携带了ON CLUSTER default_cluster,所以会在每一个节点上都创建一个本地表。 处理方法 删除其他节点上的表格以及存放的数据,可解决此问题。 创建数据库。 create database demo ON CLUSTER default_cluster; 使用数据库,在新建的数据库中创建表。
创建库 功能介绍 如下示例中通过on cluster语句在集群的所有Server节点创建数据库。 其中数据库名定义在clickhouse-example.properties文件的databaseName字段。 样例代码 private void createDatabase(String
而新的Multi-Catalog功能在原有的元数据层级上,新增一层Catalog,构成Catalog->Database->Table的三层元数据层级。其中,Catalog可以直接对应到外部数据目录。目前支持的外部数据目录包括: Hive JDBC: 对接数据库访问的标准接口(JDBC)来访问各式数据库的数据。 该功
COM' ); 表2 参数说明 参数 说明 type 对接外部数据类型。 hive.metastore.uris hive元数据uri,可在hive-site.xml配置文件查看。 AWS_ACCESS_KEY access key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。
最佳实践 因为数据模型在建表时就已经确定,且无法修改。所以,选择一个合适的数据模型非常重要。 数据模型选择 Doris数据模型上目前分为三类:AGGREGATE KEY,UNIQUE KEY,DUPLICATE KEY。三种模型中数据都是按KEY进行排序。 Aggregate模型。
新建连接 表1 参数说明 参数 描述 名称 根据连接的数据源类型,用户可以自定义连接名。 说明: 必须以字母开头,由字母、数字、中划线组成,不能包含其他的特殊字符,并且长度为4~64个字符。 连接器 Doris支持的外部数据目录组件,目前支持可选:Hive。 Hadoop类型 D
支持数据复制(带Replicated前缀的表引擎)。 支持数据抽样。 在写入数据时,该系列引擎表会按照分区键将数据分成不同的文件夹,文件夹内每列数据为不同的独立文件,以及创建数据的序列化索引排序记录文件。该结构使得数据读取时能够减少数据检索时的数据量,极大的提高查询效率。 RelacingMergeTree
如果您需要对云上购买的CloudTable资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制云资源的访问。
导入(Load)功能就是将用户的原始数据导入到Doris中。导入成功后,用户即可通过Mysql客户端查询数据。Doris支持多种导入方式。 支持数据源 Doris提供多种数据导入方案,可以针对不同的数据源选择不同的数据导入方式。 Broker Load Stream Load 支持的数据格式 不同的导入方式支持的数据格式不同。