检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 哪些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。 数据均衡过程中,再次写入数据,容易打乱之前的数据均衡。 由于磁盘负载是计算垃
JDBC通过ssl方式连接doris(无需验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 样例代码: public
访问CloudTable HBase数据表,多个任务并行缓慢。 分析原因 集群节点存在GC内存泄漏,需要对节点进行灰度重启。 另外分析问题是否存在负载过高的问题,联系相关工作人员处理。 解决办法 重启实例regionserver,此操作请联系维护人员操作。 父主题: 通用类
10:36:00'); 删除数据迁移策略(STORAGE POLICY) DROP STORAGE POLICY testPolicy; 删除数据迁移策略前,请检查关联该策略的所有表是否都已经删除,否则删除数据迁移策略会失败。 删除含数据迁移策略的数据表后,为了保证数据的安全,冷数
用于指定告警规则对应指标的维度名称。仅支持“计算单元”。 计算单元 监控范围 指定的集群监控 指定资源 监控对象 对节点的监控 - 配置告警策略,根据界面提示配置参数。 图4 告警策略 表2 配置告警策略参数说明 参数名称 参数说明 取值样例 选择类型 根据需要可选择从模板导入或自定义创建。 如果当前没有告警模
用于指定告警规则对应指标的维度名称。仅支持“计算单元”。 计算单元 监控范围 指定的集群监控 指定资源 监控对象 对节点的监控 - 配置告警策略,根据界面提示配置参数。 图4 告警策略 表2 配置告警策略参数说明 参数名称 参数说明 取值样例 选择类型 根据需要可选择从模板导入或自定义创建。 如果当前没有告警模
用于指定告警规则对应指标的维度名称。仅支持“计算单元”。 计算单元 监控范围 指定的集群监控 指定资源 监控对象 对节点的监控 - 配置告警策略,根据界面提示配置参数。 图4 告警策略 表2 配置告警策略参数说明 参数名称 参数说明 取值样例 选择类型 根据需要可选择从模板导入或自定义创建。 如果当前没有告警模
JDBC通过ssl方式连接doris(验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 在已安装mysql客
Doris集群回收站数据处理 哪些场景会产生回收站数据? 数据均衡时,仅仅是将高负载磁盘上的tablet拷贝一份到低负载的磁盘,并将原有tablet放入垃圾回收站,并不会物理删除原有tablet,因此产生垃圾文件。 Delete/drop/truncate等操作只是在逻辑上删除了
【建议】1000w-2亿以内数据为了方便可以不设置分区,直接用分桶策略(不设置其实Doris内部会有个默认分区)。 【建议】如果分桶字段存在30%以上的数据倾斜,则禁止使用Hash分桶策略,改使用random分桶策略:Create table ... DISTRIBUTED BY RANDOM
JDBC通过非ssl方式连接doris 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 JDBC Connector 如果使用mysql jdbc connector来连接Doris,可以使用jdbc的自动重试机制:
创建集群可以参考创建Doris集群。 如果在创建集群的时候未开启冷热分离特性,可在集群详情页面或者集群列表的操作列开启冷热分离。 注意使用Doris集群不要长时间处于高负载(高CPU、高内存、高磁盘使用率等)状态,否则影响冷热分离的速率。如果业务需要可进行集群扩容,请参见扩容集群。 父主题: Doris冷热分离应用
选择ClickHouse集群,单击集群名称,进入集群详情页面。 单击“集群信息 > 冷热分存策略 > 修改”,弹出冷热分存界面。修改后单击“确定”,策略修改成功。 冷热分离策略也可在创建集群的时候创建,策略一旦创建无法删除。 图2 修改冷热分离策略 父主题: ClickHouse冷热分离应用
"1d" ); 创建test_tbl1数据表并关联数据迁移策略testPolicy。 创建数据库。 CREATE DATABASE IF NOT EXISTS test_db; 创建test_tbl1表并关联数据迁移策略。 CREATE TABLE IF NOT EXISTS test_db
的扩容过程,不影响当前系统运行以及正在执行的任务,并且不会影响当前系统的性能,数据均衡会自动进行,集群会在几个小时到一天不等的时间内恢复到负载均衡的状态。Doris集群目前不支持纵向扩容,而Doris本身有多种方式可以实现纵向扩容,因此需要对Doris集群增加纵向扩容服务。 新增节点按照当前集群的计费模式进行计费。
为了提升系统的计算能力、存储能力,用户可以通过节点扩容来扩容集群。节点扩容将会产生相应的费用。用户可根据实际需要或业务情况,动态的增加节点的个数,集群将自适应的实现负载均衡,保证业务不中断,平滑扩容。 注意事项 扩容过程中,不会自动重启集群,保证业务不中断,平滑扩容。 如果扩容失败,“任务状态”将显示为“
根据典型场景说明中的业务进行功能分解,需要开发的功能点如下: 表1 冷热分离功能 步骤 代码实现 步骤1:创建自动归档冷数据策略。 请参见自动存储冷数据。 步骤2:数据表关联数据迁移策略。 请参见数据表关联策略。 步骤3:插入数据。 请参见插入数据。 步骤4:查询插入的数据。 请参见查询插入的数据。 父主题:
0,默认值为0.5。 0表示所有RPC队列不区分读和写操作; 小于0.5表示读操作负载少于写操作负载; 0.5表示读操作负载与写操作负载相同; 大于0.5表示读操作负载大于写操作负载; 1.0表示除了一个RPC队列外,其余所有RPC队列都用于读操作。 hbase.regionserver
HBase集群要准备什么? 基于访问集群的时延要求,请选择合适的区域创建CloudTable集群。 创建CloudTable集群时,请根据业务负载确定计算单元数量。在集群创建后,不支持计算单元缩容,并根据计算单元数量收费。如果集群处理业务的时延超出建议值,请考虑扩容增加计算单元数量。
ed*MergeTree引擎用于生产环境。 表1 表引擎 系列 描述 表引擎 特点 MergeTree MergeTree系列引擎适用于高负载任务,支持大数据量的快速写入并进行后续的数据处理,通用程度高且功能强大。 该系列引擎的共同特点是支持数据副本、分区、数据采样等特性。 MergeTree