检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询数据:用户在数据表上进行对应的查询,ClickHouse会根据对应表的存储策略信息查询到对应Bucket的根目录,并根据不同表下Part信息下载查询所需的数据到本地进行运算。 父主题: ClickHouse冷热分离应用
单击“集群信息 > 冷热分存策略 > 修改”,弹出冷热分存界面。修改后单击“确定”,策略修改成功。 冷热分离策略也可在创建集群的时候创建,策略一旦创建无法删除。 图1 修改冷热分离策略 父主题: ClickHouse冷热分离应用
查询告警:集群运行异常或系统故障时,CloudTable服务会收集故障信息并上报网管系统,维护人员可根据用户提供的告警信息定位问题原因。 日志查询:记录用户对集群操作信息,便于集群运行异常时定位分析问题原因。
查询数据:用户在表上进行对应的查询时,Doris会根据对应Partition使用的Policy信息找到对应的OBS并行文件系统的相关路径,并根据不同Tablet下的Rowset信息下载查询所需的数据到本地进行运算。 父主题: Doris冷热分离应用
使用Import工具导入数据 使用Import工具,可以导入HBase的SequenceFile数据文件到CloudTable的HBase中。Import工具是客户端工具安装包中自带的一个工具。 SequenceFile文件是指使用Export工具从HBase导出的数据文件。 准备一台安装了
新建用户 用户管理功能提供新增用户、删除用户、查看用户权限、分配用户角色、修改用户密码等功能。 新建用户 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧集群管理,显示当前集群列表。 选择需要操作的集群,单击“集群名称 > 用户管理”进入用户管理页面。 单击左上角的新建用户按钮
获取ip:进入集群详情页 > 集群信息 > ZK链接地址(内网)获取域名,执行以下命令解析ip地址。 ping 访问域名 获取端口:进入集群详情页 > 集群信息 > ZK链接地址(内网)获取端口。 创建Flink作业,请参见使用DLI提交作业Flink作业。
Partitions 待导入表的Partition信息,如果待导入数据不属于指定的Partition则不会被导入。这些数据将计入dpp.abnorm.ALL。
NULL COMMENT "日志时间", `type` INT NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息
哪些场景会影响数据均衡? Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 哪些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。 数据均衡过程中
数据分区和分桶 Doris支持两层的数据划分。第一层是Partition(分区),支持Range(按范围)和List(按枚举值)的划分方式。第二层是Bucket(分桶),仅支持Hash的划分方式。分区和分桶都是对数据进行横向分隔。 也可以仅使用一层分区。使用一层分区时,只支持Bucket
怎么删除ClickHouse集群ZooKeeper节点的副本表格? 问题现象 连接ClickHouse集群后并创建表格,删除表格后出现ZooKeeper节点未删除干净现象。 图1 结果显示图 原因分析 由于创建表格的命令中携带了ON CLUSTER default_cluster,
org.apache.hadoop.hbase.hindex.global.mapreduce.GlobalTableIndexer -Dtablename.to.index='table' -Dindexnames.to.unusable='idx1' 执行成功后,再次查看索引信息
创建数据表开启标签索引 功能介绍 建表功能同创建表,在此基础上,表属性配置标签索引schema。 样例代码 public void testCreateTable() { LOG.info("Entering testCreateTable."); HTableDescriptor
进入“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务,集群创建成功后,进入详情页面查看通道开启状态。 打开安全和非安全通道步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。
其中pending task负责获取导入文件的信息,而loading task会发送给BE执行具体的导入任务。 FE的配置参数async_pending_load_task_pool_size用于限制同时运行的pending task的任务数量。
使用DLI Flink作业实时同步MRS Kafka数据至CloudTable ClickHouse集群 此章节为您介绍数据实时同步的最佳实践,通过数据湖探索服务DLI Flink作业将MRS kafka任务制造数据实时同步给ClickHouse,实现Kafka实时入库到ClickHouse
参考下面表格配置集群的基本信息。 图1 区域 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。 有关区域的详细信息,请参见地区和终端节点。 可用区域 选择集群工作区域下关联的可用区。目前Doris支持的可用区请参见区域和可用区。
首次使用CloudTable 如果您是首次使用CloudTable的用户,建议您学习并了解如下信息: 基础知识了解 通过CloudTable产品功能章节的内容,了解CloudTable相关的基础知识,包含CloudTable各组件的基本原理和场景介绍,以及CloudTable服务的特有概念和功能的详细介绍
Doris集群回收站数据处理 哪些场景会产生回收站数据? 数据均衡时,仅仅是将高负载磁盘上的tablet拷贝一份到低负载的磁盘,并将原有tablet放入垃圾回收站,并不会物理删除原有tablet,因此产生垃圾文件。 Delete/drop/truncate等操作只是在逻辑上删除了数据