检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
令中自定义的名称。通过这个label,用户可以查看对应导入任务的执行情况。 label的另一个作用,是防止用户重复导入相同的数据。强烈推荐用户同一批次数据使用相同的 label。这样同一批次数据的重复请求只会被接受一次,保证了At-Most-Once。当label对应的导入作业状
5分位的查询延时30s以内,每天的SQL查询量为数万条。 统一数仓构建 :一个平台满足统一的数据仓库建设需求,简化繁琐的大数据软件栈。Doris构建的统一数仓,替换了原来由Spark、Hive、Kudu、HBase、Phoenix组成的旧架构,架构大大简化。 数据湖联邦查询:通过
Doris集群管理简介 CloudTable集群模式提供了基于Doris的分布式、可伸缩、全托管的实时数据仓库,它提供了亚秒级返回海量数据查询结果的能力,可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 Doris集群管理下,用户申请专属集群,按需使用,专属集群是完全物
消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP 应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。 父主题: 使用前必读
节点不存在此数据库? 问题现象 创建表格时提示另外一个节点不存在此数据库。 图1 结果示意图 原因分析 在创建集群的时候,只在一节点上创建了数据库在其他的节点上未创建数据库。 处理方法 在其他的节点上创建数据库。 方法一: 创建数据库。 create database demo;
forName("com.mysql.cj.jdbc.Driver"); // 认证用的密码直接写到代码中有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以密码保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量
Flink作业实时同步MRS Kafka数据至CloudTable HBase集群 此章节为您介绍数据实时同步的最佳实践,通过数据湖探索服务DLI Flink作业将MRS kafka数据实时同步给HBase,实现Kafka实时入库到HBase的过程。 了解DLI请参见数据湖探索产品介绍。 了解Kafka请参见MRS产品介绍。
查询CloudTable集群详情 功能介绍 通过集群ID唯一标识一个集群,根据集群ID查询特定CloudTable集群的详情信息。 调试 您可以在API Explorer中调试该接口。 URI GET /v2/{project_id}/clusters/{cluster_id} 表1
创建CloudTable集群 功能介绍 创建一个CloudTable集群。 使用接口前,您需要先获取如下资源信息。 通过VPC创建或查询VPC、子网。 通过安全组创建或查询可用的security_group_id。 本接口是一个同步接口,当创建CloudTable集群成功后会返回集群id。
HBase集群写入数据大小不能超过多少? 问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡住,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类
ase的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20–29]之间的用户信息。
HBase全局二级索引,使用独立的索引表存储索引数据。当给定的查询条件可以命中索引时,可以将对数据表的全表查询转换为对索引表的精确范围查询,提升查询速度。开启全局二级索引特性后,应用侧代码无需特殊修改,简单易用。 HBase全局二级索引支持以下重点特性: 复合索引 支持指定多个列作为索引列(支持跨列族)。
性云服务器的哪些端口或者协议可以访问,这些访问规则可以作用在进出虚拟机的网络访问上。当弹性云服务器加入该安全组后,即受到这些访问规则的保护。不属于该安全组的弹性云服务器,是无法同安全组内的弹性云服务器通信的。 您可以选择使用已有的安全组,或者单击“查看安全组”创建新的安全组。 关
如何查看HBase shell的TTL属性? 如果插入数据时,设置了CELL的TTL,TTL属性不支持查看,但是可以通过验证设置的TTL是否生效来确认。 如果插入数据时未设置CELL的TTL,此时系统会自动插入当前时间为时间戳。 父主题: 通用类
查看集群的监控信息 操作场景 云平台提供的云监控服务,可以对CloudTable集群的运行状态进行日常监控。您可以通过管理控制台,直观地查看CloudTable的各项监控指标。通过查看集群的监控信息可以快速掌握集群的健康状态并及时获取系统的关键信息。 背景信息 处于不可用状态的C
否应用中。 权限查看 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧集群管理,显示当前集群列表,选择需要操作的集群,进入角色管理页面。 选择需要查看权限的角色,单击右侧查看权限按钮,弹出权限查看页面。 权限修改 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。
否应用中。 权限查看 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧集群管理,显示当前集群列表,选择需要操作的集群,进入角色管理页面。 选择需要查看权限的角色,单击右侧查看权限按钮,弹出权限查看页面。 权限修改 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。
当表的分桶模式被设置为RANDOM时,因为没有分桶列,无法根据分桶列的值仅对几个分桶查询,对表进行查询的时候将对命中分区的全部分桶同时扫描,该设置适合对表数据整体的聚合查询分析而不适合高并发的点查询。 如果OLAP表的是Random Distribution的数据分布,那么在数据导入的时候可以设置单分片导入模式(将l
Doris支持冷热分离功能,将数据分类存储在不同介质上,有效降低存储成本。 针对数据使用场景,可以将数据按照时间分为热数据和冷数据。冷热数据主要从数据访问频率、更新频率划分。 Hot(热数据):访问、更新频率较高,对访问的响应时间要求很高的数据。 Cold(冷数据):不允许更新或更新访问
Doris和ClickHouse组件是按照小时收费的,CU未满1小时,按照1小时收费。 按需产品周期结算说明: 按小时结算:华为云会每小时根据您的使用量计算费用,并到账户中进行扣费。例如,8:00~9:00期间产生的费用,通常会在10:00以前完成扣费。 按月结算:华为云会根据您的使用量计算费用,每月月初对前一月使