检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据的判断和迁移。 原理介绍 创建表:创建含有冷热分离策略的数据表,其中存储策略值必须为hot_to_cold。 写数据:新数据会按照信息导入到对应的数据表中。在ClickHouse中,每次数据写入都会生成一个新的Part,以保证冷数据的Part在不受影响的情况下写入新数据,满足冷热数据同时存储的需求。
able类型。 数据写入 【规则】外部模块保证数据导入的幂等性。 ClickHouse不支持数据写入的事务保证。通过外部导入数据模块控制数据的幂等性,比如某个批次的数据导入异常,则drop对应分区数据或清理掉导入的数据后,重新导入该分区或批次数据。 【规则】大批量少频次的写入数据。
根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 导入用户数据。 请参见插入数据。 3 增加“教育信息”列族,在用户信息中新增用户的学历、职称等信息。 请参见修改表。 4 根据用户编号查询用户姓名和地址。
client --host 集群内网地址 --port 端口 --user admin --password password --secure --config-file /root/config.xml 创建数据库。 create database demo; 使用数据库。
器的创建进度。 当弹性云服务器的状态为“运行中”时,表示创建完成。 步骤四:安装ClickHouse客户端并校验客户端 用户在弹性云服务器里可以通过手动安装客户端的方法安装客户端。 使用SSH登录工具(如PuTTY)通过“弹性IP”远程登录到Linux弹性云服务器。 具体登录操作
两级阈值。危险水位高于高水位。当磁盘使用率高于高水位时,Doris会限制某些操作的执行(如副本均衡等)。而如果高于危险水位,则会禁止某些操作的执行(如导入)。 同时,在BE上也设置了 危险水位(Flood Stage)。考虑到FE并不能完全及时的监测到BE上的磁盘使用情况,以及无法控制某些BE自身运行的操作(如
对系统的影响 重启期间集群将无法提供服务。因此,在重启前,请确定集群中没有正在运行的任务,并且所有数据都已经保存。 如果集群正在处理业务数据,如导入数据、查询数据,一旦重启集群,有可能会导致文件损坏或重启失败。因此,建议停止所有集群任务后,再重启集群。 如果重启失败,将有可能会导致集群
"3" ); 每天整点使用Broker Load导入批量数据到test_tbl1表,请参考Broker Load。 创建数据库test_db。 CREATE DATABASE test_db; 使用数据库。 use test_db; 批量导入数据。 LOAD LABEL brokerl
返回弹性云服务器列表页面,查看弹性云服务器的创建进度。 当弹性云服务器的状态为“运行中”时,表示创建完成。 步骤三:安装Doris客户端 用户在弹性云服务器里可以通过手动安装客户端的方法安装客户端。 使用SSH登录工具(如PuTTY)通过“弹性IP”远程登录到Linux弹性云服务器。 具体登录操作
基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的
p201702和p201705的分区范围并没有发生变化,而这两个分区之间,出现了一个空洞:[2017-03-01, 2017-04-01)。即如果导入的数据范围在这个空洞范围内,是无法导入的。 继续删除分区。 mysql> alter table example_db.expamle_range_tbl drop
使用Doris 使用MySQL客户端访问集群 重启集群 删除集群 集群扩容 Doris参数配置 Doris用户管理 Doris角色管理 Doris慢SQL查询 Doris连接管理 Doris安全通道 Doris监控集群 使用ClickHouse 使用客户端访问集群 重启集群 删除集群
而将Schema定义成大宽表,这种操作对于数据库其实不是那么友好,我们更建议用户采用星型模型。 Schema中字段数比较多, 聚合模型中可能key列比较多, 导入过程中需要排序的列会增加。 维度信息更新会反应到整张表中,而更新的频率直接影响查询的效率。 使用过程中,建议用户尽量使用Star Sche
doris_be_send_batch_thread_pool_queue_size 导入时用于发送数据包的线程池的排队个数 - ≥0 60s SYS.CloudTable doris_be_send_batch_thread_pool_thread_num 导入时用于发送数据包的线程池的线程数 - ≥0 60s SYS
角色管理命令简介 此章节主要介绍用角色管理SQL基本语法和使用说明。 创建角色 CREATE Role role_name; role_name:指新建角色名称。 给角色赋予权限。 授予指定库表的权限给角色。 GRANT LOAD_PRIV ON ctl1.db1.* TO ROLE
HBase集群节点管理 节点重启 父主题: 管理集群
Doris集群节点管理 节点重启 父主题: 管理集群
HBase集群管理列表简介 登录表格存储服务,在左侧导航树,单击集群管理,在集群管理列表中会显示CloudTable所有的集群,集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。 图1 集群列表 集群管理列表默认按时间顺序排列,时间最近的集群显示在最前端。集群管理列表参数说明如表1和表2所示。
用户管理命令简介 此章节主要介绍用户管理SQL基本语法和使用说明。 创建用户。 CREATE USER name IF NOT EXISTS ON CLUSTER default_cluster IDENTIFIED WITH sha256_password BY 'password';
角色管理命令简介 此章节主要介绍用角色管理SQL基本语法和使用说明。 创建角色,role_name:指新建角色名称。 CREATE role IF NOT EXISTS 'role_name' ON CLUSTER default_cluster; 给角色赋予权限。 授予全部创建(库、表)权限。