检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CloudTable HBase支持的特殊符号? HBase支持的业务数据一般特殊符号没有约束,只有Lemon里面的英文冒号需要进行转义。 父主题: 通用类
支持的关键操作审计日志 CloudTable使用云审计服务,可以记录与CloudTable服务相关的操作事件,便于日后的查询、审计和回溯。 CloudTable的以下关键操作事件将记录审计日志,详细内容如表1所示。 表1 云审计服务支持的CloudTable操作事件列表 操作名称
CloudTable HBase存储的是原始数据吗? CloudTable HBase服务存储的是原始数据,支持使用压缩存储,支持的压缩算法有SNAPPY和GZ。CloudTable HBase不会对原始数据做加解密处理,如果需要数据加解密,请在应用程序的业务代码侧实现。 父主题: 数据读写类
CloudTable中的HBase外部接口支持哪些编程语言? HBase 2.4.14版本的外部接口目前只支持JAVA编程语言。 有关HBase API的更多信息,请参见HBase官方文档中的Apache HBase External APIs。 父主题: 通用类
能直接通过ssh访问CloudTable的计算节点吗? 不能。CloudTable的底层计算单元运行在一个VPC网络中,VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境,为您的数据提供了一层保护。您只能使用客户端工具或者应用程序连接到CloudTable的ZK链接地址(即HBase的连接地址)对CloudTable进行访问。
查询每一个SQL命令的ID。 执行开始时间 SQL语句执行开始时间。 执行结束时间 SQL语句执行结束时间。 数据库 使用的数据库。 SQL语句 执行的SQL语句。 运行时长(ms) SQL执行时长。 状态 SQL运行的状态。 用户 提交SQL的用户。 远程IP 用户提交SQL使用的客户端地址。
查询每一个SQL命令的ID。 执行开始时间 SQL语句执行开始时间。 执行结束时间 SQL语句执行结束时间。 数据库 使用的数据库。 SQL语句 执行的SQL语句。 运行时长(ms) SQL执行时长。 状态 SQL运行的状态。 用户 提交SQL的用户。 远程IP 用户提交SQL使用的客户端地址。
效,指定需要同步的database,以‘,’分隔,db名称是大小写敏感的。 exclude_database_list: 仅在only_specified_database=true时生效,指定不需要同步的多个database,以‘,’分隔,db名称是大小写敏感的。 当inclu
指定的时间范围涵盖从插入行的时间点到最后更新行的时间点的时间段。因此,建议您不要更新存储在冷存储中的数据。 随机查询Get。 Shell 不指定HOT_ONLY参数来查询数据。在这种情况下,将会查询冷存储中的数据。 hbase(main):001:0> get 'hot_cold_table'
be_webserver_port:节点端口。 设置回收站时间 回收站原理:删除的数据不会直接从磁盘上删除,而是先放入回收站,等待超时时间满足后,再从磁盘上直接删除。 设置回收站时间需要考虑的因素。 回收站时间过长,会累积垃圾文件,占用磁盘空间。 回收站时间过长,调用admin clean tra
参数说明: storage_resource:指定策略使用的storage resource名称,且值指定为hot_to_cold。 cooldown_ttl:热数据持续时间。从数据分片生成时开始计算,经过指定时间后转为冷数据。支持的格式: 1d:1天、 1h:1小时、 50000:5
一个节点上都创建一个本地表。 处理方法 删除其他节点上的表格以及存放的数据,可解决此问题。 创建数据库。 create database demo ON CLUSTER default_cluster; 使用数据库,在新建的数据库中创建表。 use demo; 创建表test。 CREATE
合并数据:定期读取数据文件rowset,判断数据时间戳和时间线。如果当前时间减去写入时间小于TTL设置的值,则文件不移动。如果当前时间减去写入时间大于TTL设置的值,则会在系统后台执行并调用OBS SDK数据写入OBS,随后将本地文件删除。 查询数据:用户在表上进行对应的查询时,Doris会根据对应
HBase表格存储的每日新增数据使用量怎么查看? HBase集群无法查看单个表的增量值,需要通过后台帮您查询,或者可以通过控制台查看每日新增数据,查看详情页已经使用的存储容量,通过记录存储容量值计算增量。 父主题: 数据读写类
max_create_table_timeout_second)。 建表命令长时间不返回结果 Doris的建表命令是同步命令。该命令的超时时间目前设置的比较简单,即(tablet num*replication num)秒。如果创建较多的数据分片,并且其中有分片创建失败,则可能导致等待较长超时后,才会返回错误。
状态/进度 数据分布的状态/进度。 状态:初始化、运行中、已完成。 创建时间 创建数据任务的时间。 执行开始时间 启动数据任务的时间。 更新时间 修改数据任务的时间。 操作 启动:启动数据任务。 修改:修改任务信息。 取消:取消迁移任务。 详情:任务详情页面。 删除:删除任务。 单击左上角“新建任务”。
Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 哪些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。 数据均衡过程中,再次写入数据,容易打乱之前的数据均衡。 由于磁盘
Hot(热数据):访问、更新频率较高,未来被调用的概率较高的数据,对访问的响应时间要求很高的数据。 Cold(冷数据):不允许更新或更新频率比较低,访问频率比较低,对访问的响应时间要求不高的数据。 用户可以定义冷热管理表,将符合规则的冷数据切换至OBS上进行存储,可以按照分区自动进行冷热数据的判断和迁移。 原理介绍
行进一步的聚合。 数据查询阶段。在数据查询时,对于查询涉及到的数据,会进行对应的聚合。 数据在不同时间,可能聚合的程度不一致。例如一批数据刚导入时,可能还未与之前已存在的数据进行聚合。但是对于用户而言,用户只能查询到聚合后的数据。即不同的聚合程度对于用户查询而言是透明的。用户需始
开发思路 功能分解 根据上述的业务场景进行功能分解,需要开发的功能点如表1所示。 表1 在HBase中开发冷热分离的功能 序号 步骤 代码实现 1 根据典型场景说明中的信息创建表。 请参见创建表。 2 写入数据。 请参见插入数据。 4 根据城市、区域、时间查询温度和湿度。 请参见使用Get读取数据。