检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除集群 如果不再需要集群时,可以删除集群。删除CloudTable集群将会清空所有与该集群相关的资源及数据,且无法恢复,请谨慎操作。 操作步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。
HBase集群管理简介 CloudTable集群模式提供了基于Apache HBase的分布式、可伸缩、全托管的NoSQL数据存储系统,它提供了毫秒级的随机读写能力,适用于海量结构化数据、半结构化数据存储和查询应用。 HBase集群管理下,用户申请专属集群,按需使用,专属集群是完全物
Metastore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive Catalog,我们不仅能访问Hive,也能访问使用Hive Metastore作为元数据存储的系统。 创建。
删除集群 如果不再需要集群时,可以删除集群。删除CloudTable集群将会清空所有与该集群相关的资源及数据,且无法恢复,请谨慎操作。 操作步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。
ClickHouse集群创建表格后提示另外一个节点不存在此数据库? 问题现象 创建表格时提示另外一个节点不存在此数据库。 图1 结果示意图 原因分析 在创建集群的时候,只在一节点上创建了数据库在其他的节点上未创建数据库。 处理方法 在其他的节点上创建数据库。 方法一: 创建数据库。 create
磁盘扩容中(任务状态) 表示集群正在扩容中。 服务中(集群状态) 当集群扩容成功并正常提供服务时,其集群状态为服务中。 磁盘扩容失败(任务状态) 表示扩容失败。 查看磁盘扩容信息 单击确定后,集群任务状态变更为“磁盘扩容中”,当集群扩容完毕后,集群状态更新为“服务中”。 父主题: 扩容集群
单击管理控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群列表中找到需要查看的集群,在对应的操作列中,单击查看监控信息,系统会跳到该集群的“云服务监控”页面。 待查看集群,其状态必须为“服务中”。 图1 查看监控信息 在集群的“云服务监控”页面中,单击集群ID前的按钮展开计算单元列表,选择对应节点查看监控信息。
访问CloudTable HBase集群报错,hmaster域名不识别? 问题现象 访问CloudTable HBase集群报错,hmaster域名不识别。 原因分析 运行程序的机器上没有配置CloudTable HBase实例节点的内网域名和ip映射,导致无法识别hmaster节点的内网域名,链接异常。
HBase集群磁盘扩容 磁盘扩容,即纵向扩容,是一种扩容节点内磁盘容量的操作。一般来说,具体的数据存储在计算节点,当计算节点磁盘容量不足时,业务数据将无法存储,因此需要对节点进行纵向扩容。 磁盘扩容过程中,集群业务可能存在抖动。 当集群状态处于“服务中”,且没有任何任务操作(如:
话,导入失败后重试的时间成本很高。 可以通过如下公式计算出Doris集群期望最大导入文件数据量: 期望最大导入文件数据量=14400s*10M/s*BE个数。 比如:集群的BE个数为10个。 期望最大导入文件数据量=14400s*10M/s*10 =1440000M≈1440G。
创建MRS Hive连接 使用catalog连接非安全认证hive on hdfs 使用catalog连接kerberos安全认证hive on hdfs 使用catalog连接非安全认证hive on obs 使用catalog连接kerberos安全认证hive on obs
冷热数据访问频率及性能要求不同:热数据访问频率高且需要快速响应,而冷数据访问频率低且响应速度要求不高。 原理介绍 创建表:CloudTable Doris通过文件系统在本地数据目录创建目录。 写数据:调用文件系统相关功能,生成文件到本地数据目录下。 合并数据:定期读取数据文件r
图2 切换到创建的Catalog 查看映射过来的数据库。 show databases; 图3 查看数据库 使用数据库。 use 数据库名; 图4 使用数据库 查看数据库表。 show tables; 图5 查看数据库表 父主题: 数据读写类
删除集群 如果不再需要集群时,可以删除集群。删除CloudTable ClickHouse集群将会清空所有与该集群相关的资源及数据,且无法恢复,请谨慎操作。 操作步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。
磁盘扩容任务状态说明 状态 说明 磁盘扩容中(任务状态) 表示集群正在扩容中。 服务中(集群状态) 当集群扩容成功并正常提供服务时,其集群状态为服务中。 磁盘扩容失败(任务状态) 表示扩容失败。 父主题: ClickHouse集群扩容
对于列类型转换来说,如果strict mode为true,则错误的数据将被filter。这里的错误数据是指:原始数据并不为空值,在参与列类型转换后结果为空值的这一类数据。对于导入的某列由函数变换生成时,strict mode对其不产生影响。对于导入的某列类型包含范围限制的,如果原始数据能正常通过类型转换,但无法通过范围限制的,strict
已提前准备好对接的RDS数据库实例及数据库用户名、密码。详细操作可以参考创建和连接RDS数据库实例。 已成功创建ClickHouse集群且集群和实例状态正常。 约束限制 RDS数据库实例和ClickHouse集群在相同的VPC和子网内。 在进行数据同步操作时需要评估对源数据库和目标数据库性能的影
CloudTable作为大数据存储服务,提供高效的kv随机查询能力。在此基础上,CloudTable服务引入自研的分布式多维标签索引能力,存储格式与计算基于位图进行。用户可以根据自身业务需求来定义HBase表中的哪些字段需要构建标签索引,用户写入数据时将自动生成标签数据。同时,标签索引基
Doris集群管理简介 CloudTable集群模式提供了基于Doris的分布式、可伸缩、全托管的实时数据仓库,它提供了亚秒级返回海量数据查询结果的能力,可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 Doris集群管理下,用户申请专属集群,按需使用,专属集群是完全物理隔离且不受其他业务影响,方便用户管理。
需要几分钟,便可完成海量数据查询数据仓库的搭建,简单轻松地完成对数据的实时查询分析,提升数据价值挖掘的整体效率。云数据仓库ClickHouse是一种基于MPP(大规模并行处理)架构的数仓服务,基于ClickHouse优异的查询性能,查询效率数倍于传统数据仓库。 背景信息 假定这是