检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库引擎 用于存储、处理和保护数据的核心服务。 是否开启Broker进程 是否打开Broker进程,用于给客户做数据导入场景。 是否开启https “是”表示已经开启安全通道,可以下载证书。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。
Hbase集群写入数据大小不能超过多少? 问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡主,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类
't1' 图8 使用授权账号查看数据表test 数据表“t1”是否可以插入新的数据,插入失败表示授权成功。 put 't1', '123', 'f1:c1', 'abcd' 图9 插入数据失败图 如果想关闭用户认证,在集群管理禁用用户认证,请参考禁用用户认证步骤。 关闭用户认证需
如何查看CloudTable链接地址中的域名对应的IP地址? 您无法查看CloudTable链接地址中的域名对应的IP地址,如需获取域名对应的IP地址,请提交工单寻求技术支持。 您可以登录表格存储服务管理控制台,在右上方单击“更多 > 工单 > 新建工单 ”,填写工单获取Clou
完成其他配置后,查看安全通道加密按钮是否开启,默认开启。 图1 安全通道 关闭https会给企业服务带来风险。 创建集群开启https选项,后续无法关闭。 创建集群未开启https选项,后续无法开启。 配置好参数,单击“立即购买”。 进入“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任
50000:50000秒、0:0秒,表示数据立即转为冷数据。注意:cooldown_ttl的值不得低于6h。 cooldown_datetime:热数据转为冷数据时间,不能与cooldown_ttl同时存在,如:2023-06-08 00:00:00。 创建含数据迁移策略的Doris Table 创建数据库test_db。
如何调整数据均衡的灵敏度,调整后有哪些影响? Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(
表用户客户关注不到,会创建出大量不使用分区分桶)。 【强制】创建表时的副本数必须至少为2,默认是3,禁止使用单副本。 【建议】单表物化视图不能超过6个。 【建议】对于有大量历史分区数据,但是历史数据比较少,或者不均衡,或者查询概率的情况,使用如下方式将数据放在特殊分区: 对于历史
个BE处理的数据量的最大值。max_broker_concurrency配置限制了一个作业的最大的导入并发数。最小处理的数据量(默认64M),最大并发数,源文件的大小和当前集群BE的个数 共同决定了本次导入的并发数。 本次导入并发数=Math.min(源文件大小/最小处理量(默认
批数据Key相同的所有行,MERGE语义需要与Delete条件联合使用,表示满足Delete条件的数据按照Delete语义处理其余的按照APPEND语义处理。 two_phase_commit Stream load导入可以开启两阶段事务提交模式:在Stream load过程中,
或者调整导入并发数。具体计算逻辑如下: 本次导入并发数=Math.min(源文件大小/最小处理量,最大并发数,当前BE节点个数) 本次导入单个BE的处理量=源文件大小/本次导入的并发数 其中:最小处理量 min_bytes_per_broker scanner默认为64M,最大并发数max
效果不佳,且元数据管理压力大。如果数据量过大,则不利于副本的迁移、补齐,且会增加Schema Change或者Rollup操作失败重试的代价(这些操作失败重试的粒度是Tablet)。 当Tablet的数据量原则和数量原则冲突时,建议优先考虑数据量原则。 在建表时,每个分区的Buc
HBase数据表,多个任务并行缓慢。 分析原因 集群节点存在GC内存泄漏,需要对节点进行灰度重启。 另外分析问题是否存在负载过高的问题,联系相关工作人员处理。 解决办法 重启实例regionserver,此操作请联系维护人员操作。 父主题: 通用类
样例代码 此章节主要介绍CloudTable ClickHouse冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。 样例代码 创建ClickHouse冷热分离表test_table。 CREATE TABLE IF NOT EXISTS test_table ( `timestamp`
网络访问不通。 由于CloudTable的链接地址是内网地址,不是公网地址,不能在公网环境直接连接CloudTable。您可以在客户端主机上ping一下CloudTable的ZK链接地址,如果无法ping通,说明网络不通。 处理方法 您需要申请一台弹性云服务器作为客户端主机,用于安装Clou
样例代码 此章节主要介绍CloudTable Doris冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。 样例代码 自动存储冷数据。 创建冷数据自动归档到冷存储的数据迁移策略testPolicy。 CREATE STORAGE POLICY testPolicy PROPERTIES(
始终认为数据以最终的完成的聚合程度存在,而不应假设某些聚合还未发生。 Unique模型 在某些多维分析场景下,用户更关注的是如何保证Key的唯一性,即如何获得Primary Key唯一性约束。因此,我们引入了Unique的数据模型。该模型本质上是聚合模型的一个特例,也是一种简化的表结构表示方式。举例说明:
创建表格时提示另外一个节点不存在此数据库。 图1 结果示意图 原因分析 在创建集群的时候,只在一节点上创建了数据库在其他的节点上未创建数据库。 处理方法 在其他的节点上创建数据库。 方法一: 创建数据库。 create database demo; 使用数据库demo。 use demo;
hbase.regionserver.global.memstore.size和hfile.block.cache.size两个参数值相加不能超过0.8。 表1 HBase参数说明 参数名 参数默认值 单位 参数范围 参考缺省值 参数描述 hbase.regionserver.thread
se中决定了如何存储和读取数据、是否支持索引、是否支持主备复制等。云数据库ClickHouse支持的表引擎,请参见下表。 表1 表引擎 系列 描述 表引擎 特点 MergeTree MergeTree系列引擎适用于高负载任务,支持大数据量的快速写入并进行后续的数据处理,通用程度高且功能强大。