检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cold(冷数据):不允许更新或更新频率比较低,访问频率比较低,对访问的响应时间要求不高的数据。 用户可以定义冷热管理表,将符合规则的冷数据切换至OBS上进行存储,可以按照分区自动进行冷热数据的判断和迁移。 原理介绍 创建表:创建含有冷热分离策略的数据表,其中存储策略值必须为hot_to_cold。
集群内网地址:集群详情页面中集群访问地址,这里替换成您自己购买的集群的访问地址(FE节点的访问地址,都可以访问集群)。 password为您购买集群时设置的密码,如果有特殊符号,特殊符号前面需要\进行转义,如果密码整体用单引号括起来,则特殊字符不需要转义。 端口:FE上的mysql server端口,参见表1。
超出当前套餐包的额度,将自动转为按需收费。 购买折扣套餐 登录CloudTable管理控制台。 单击“折扣套餐”。 图1 控制台 在“购买表格存储服务HBase折扣套餐”页面,设置以下折扣套餐相关的参数。然后在页面底部,将显示相应的配置费用。您可以单击“了解计费详情”,查看具体的计费详情。 图2 折扣套餐 表1 折扣套餐参数说明
、创建列族、检查表是否存在、修改表结构和列族结构以及删除表等功能。 (5)调用Admin的建表方法。 注意事项 注[1] 表和列族其它属性设置可以参考开发HBase应用。 注[1] 指的是代码样例中的“admin.createTable(htd); // 注[1] (5)”。 父主题:
huaweicloud.com/cloudtable。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。 单击左上角“新建连接”创建MRS Hive连接。 新建连接类型:安全认证hive on OBS,认证类型选择KERBEROS,OBS按钮开启状态。
MySQL('RDS服务MySQL数据库实例IP地址:MySQL数据库实例端口', 'MySQL数据库名', 'MySQL数据库用户名', 'MySQL数据库用户名密码'); 切换到新建的数据库mysql_db,并查询表数据。 USE mysql_db; 在ClickHouse中查询MySQL数据库表数据。 SELECT
e接口重新启用表。 注[1] 指的是代码样例中的“admin.modifyTable(tableName, htd); //注[1]”。 设置已有表的冷热分离功能。 public void testModifyTable() { LOG.info("Entering testModifyTable
数据迁移过程中原表默认为只读状态。 数据迁移的时候数据首先会保存在临时表中,执行的时候用迁移的数据表替换原表,该过程中可能读取到错误的数据,切换时间为秒级。 数据迁移过程中可能由于集群问题导致此过程暂停,根据报错集群修复继续执行任务。 数据迁移的时候,源节点和重分布节点必须存在相同表,这样才可以进行数据迁移。
分区(Partition) 分区用于将数据划分成不同区间,逻辑上可以理解为将原始表划分成了多个子表。可以方便的按分区对数据进行管理。 Partition列可以指定一列或多列,分区列必须为KEY列。多列分区的使用方式在后面多列分区小结介绍。 不论分区列是什么类型,在写分区值时,都需要加双引号。
批量资源开通自动续费:选择需要开通自动续费的云服务器,单击列表左上角的“开通自动续费”。 图3 多个资源开通自动续费 选择续费时长,并根据需要设置自动续费次数,单击“开通”。 在“续费管理”页面开通的自动续费,自动续费周期以实际选择的续费时长以及自动续费次数为准。例如:您选择了续费时
可以采用翻页显示,您可以查看任何状态下的集群。 图1 集群列表图 表1 集群管理列表参数 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群状态 集群当前所处状态,包括创建中、服务中、亚健康、创建失败、冻结。 任务状态 集群任务的状态信息。 引擎类型 HBase\Doris\ClickHouse。
Schema区分维度表和指标表。频繁更新的维度表也可以放在MySQL外部表中。而如果只有少量更新, 可以直接放在Doris中。在Doris中存储维度表时,可对维度表设置更多的副本,提升Join的性能。 父主题: Doris数据表和数据模型
/root/config.xml 集群内网地址:集群详情页面中集群访问地址,这里替换成您自己购买的集群的访问地址。 password为您购买集群时设置的密码,如果有特殊符号,特殊符号前面需要\进行转义,如果密码整体用单引号括起来,则特殊字符不需要转义。 表1 自定义安全规则组 方向 策略
1%~100% 租户最大占用内存资源的百分比。 并发数 1~2147483647 租户最大可运行查询任务的并发数。该值是对单个FE的限定。例如设置并发数为1,Doris有三个FE节点,则从集群角度看,最大可运行的SQL数为3。 队列长度 1~2147483647 租户最大等待执行的查
计费构成分析 用了一段时间后,用户发现云服务器当前规格无法满足业务需要,于2023/03/18 15:30:00对集群扩容,扩容规格如下: 表1 变更计费模式 计费模式 计算规则 付费周期 费用计算 按需计费(节点扩容前) CU费用:CU单价 x 节点数 平均每小时的费用 Master节点CU费用:1
优势。本样例工程以城市+区域+时间作为RowKey,列都存储在info列族中。 当天整点写入数据,同时一天前数据查询频率较低,节省存储空间设置冷热分离,将一天前数据自动归档到冷存储。 父主题: 开发HBase冷热分离应用
集群管理列表默认按时间顺序排列,时间最近的集群显示在最前端。集群管理列表参数说明如表1和表2所示。 表1 集群管理列表参数 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群状态 集群的运行状态信息。集群状态包括创建中、服务中、亚健康、创建失败和冻结。 任务状态 集群任务的状态信息。请参见表4。 引擎类型
单击页面上方的“服务列表”,选择“管理与部署 > 云审计服务”,进入云审计服务信息页面。 单击左侧导航树的“事件列表”,进入事件列表信息页面。 单击事件列表右上方的“筛选”,设置对应的操作事件条件。 当前事件列表支持四个维度的组合查询,详细信息如下: “事件来源”、“资源类型”和“筛选类型”。 “事件来源”:选择“CloudTable”。
密码 设置admin用户密码。 密码复杂度要求如下: 8~16个字符。 至少包含以下字符中的4种:大写字母,小写字母、数字、特殊字符(¥@¥!%*?&)。 不能与用户名或倒序用户名相同。 强弱密码检查。 说明: 请妥善保管并定期更新密码,避免安全风险。 确认密码 设置admin用户密码。
建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以密码保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量CK_PASSWORD String password = System.getenv("CK_PASSWORD");