检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据典型场景说明中的业务进行功能分解,需要开发的功能点如下: 表1 冷热分离功能 步骤 代码实现 步骤1:创建自动归档冷数据策略。 请参见自动存储冷数据。 步骤2:数据表关联数据迁移策略。 请参见数据表关联策略。 步骤3:插入数据。 请参见插入数据。 步骤4:查询插入的数据。 请参见查询插入的数据。 父主题:
CloudTable服务暂不支持细粒度策略,仅支持系统角色“cloudtable Administrator”。当前CloudTable默认的系统角色“cloudtable Administrator” 仅适用于未开通企业项目的账号,如已开通,请使用IAM自定义策略并直接给用户授权。 给用户
据会独立生成part文件,导致part总数量膨胀,建议一批插入的数据属于同一个分区。 【建议】慎用分布式表批量插入。 写分布式表时,数据会分发到集群的所有本地表,每个本地表插入的数据量是总插入量的1/N,batch size可能比较小,会导致data part过多,merge压力变大,甚至出现异常影响数据插入。
Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。 父主题: Doris连接管理
用户可以定义冷热管理表,将符合规则的冷数据切换至OBS上进行存储,可以按照分区自动进行冷热数据的判断和迁移。 原理介绍 创建表:创建含有冷热分离策略的数据表,其中存储策略值必须为hot_to_cold。 写数据:新数据会按照信息导入到对应的数据表中。在ClickHouse中,每次数据写入都会生成一
SETTINGS storage_policy = 'hot_to_cold'; 参数说明: storage_policy:指定存储策略,值指定为hot_to_cold。存储策略一旦指定,后期无法更改。 更新TTL。 修改元数据: ALTER TABLE hot_cold_table MODIFY
创建各自Connection。Connection是连接CloudTable HBase集群的连接器,创建过多连接会加重Zookeeper负载,并损耗业务读写性能。多个客户端线程可以共享一个Connection,典型的用法是一个客户端程序共享一个单独的Connection。 父主题:
指标设定告警规则,如果存在告警,请及时提交工单联系技术工程师解决。如果集群CPU或内存使用率长时间超出阈值,那么用户需要扩容计算单元,均衡负载。 在CloudTable服务控制台,单击“集群管理”打开集群列表,指定集群名称查看集群已使用存储容量是否超过阈值,如果超出阈值,则用户需要扩容存储配额,增加存储容量。
介绍,请参见IAM产品介绍。 CloudTable权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 CloudTable
+---+ +---+ Stream load中,Doris会选定一个节点作为Coordinator节点。该节点负责接数据并分发数据到其他数据节点。您可以通过HTTP协议提交导入命令。如果提交到FE,则FE会通过HTTP redirect指令将请求转发给某一个BE。
必每个线程都创建各自Connection。Connection是连接CloudTable集群的连接器,创建过多连接会加重Zookeeper负载,并损耗业务读写性能。 代码样例 以下代码片段是创建Connection对象的示例: private TableName tableName
必每个线程都创建各自Connection。Connection是连接CloudTable集群的连接器,创建过多连接会加重Zookeeper负载,并损耗业务读写性能。 代码样例 以下代码片段是创建Connection对象的示例: private TableName tableName
如果密码整体用单引号括起来,则特殊字符不需要转义。 端口:FE上的mysql server端口,参见表1。 表1 自定义安全规则组 方向 策略 协议端口/范围 类型 目的/源地址 用途 出方向 允许 全部 IPv4/IPv6 0.0.0.0/0 出方向放行。 入方向 允许 9030
1,即10%。当一个BE节点的load score,不高于或不低于平均load score的10%时,我们认为这个节点是均衡的。如果想让集群负载更加平均,可以适当调低这个参数。 dynamic_partition_check_interval_seconds 600 否 long 未更改
password为您购买集群时设置的密码,如果有特殊符号,特殊符号前面需要\进行转义,如果密码整体用单引号括起来,则特殊字符不需要转义。 表1 自定义安全规则组 方向 策略 协议端口/范围 类型 目的/源地址 用途 出方向 允许 全部 IPv4/IPv6 0.0.0.0/0 出方向放行。 入方向 允许 8123
状态,则选返回集群管理界面,单击“更多 > 开启ThriftServer”,等待完成后,即可进行使用。 ThriftServer当前不具备负载均衡的能力,用户需要避免在代码里面同时访问同一个ThriftServer实例,避免单实例过载。 用户需要在应用代码里面增加重试机制,保证单
password为您购买集群时设置的密码,如果有特殊符号,特殊符号前面需要\进行转义,如果密码整体用单引号括起来,则特殊字符不需要转义。 表3 自定义安全规则组 方向 策略 协议端口/范围 类型 目的/源地址 用途 出方向 允许 全部 IPv4/IPv6 0.0.0.0/0 出方向放行。 入方向 允许 8123
是否开启冷热分离 “否”代表未开启冷热,“是”代表开启冷热分离。 存储资源名称 存储冷热分离数据资源名称“hot_to_cold”。 冷热分存策略 如果节点总存储量超过设置的值,则优先迁移早起数据至冷存储。 冷热存储已使用容量 冷存储数据的存储容量。 客户端使用 ClickHouse
义,如果密码整体用单引号括起来,则特殊字符不需要转义。 端口:FE上的mysql server端口,表3。 表3 自定义安全规则组 方向 策略 协议端口/范围 类型 目的/源地址 用途 出方向 允许 全部 IPv4/IPv6 0.0.0.0/0 出方向放行。 入方向 允许 9030