云服务器内容精选

  • 步骤一:购买HBase集群 登录 表格存储服务 控制台。 在控制台左上角选择区域。 单击“集群管理”进入集群管理界面。 单击集群管理界面右上角的“购买集群”,进入购买集群页面配置相关参数(安全组规则配置端口请参见表2)。 单击“立即购买”,进入确认规格页面,确认无误,单击“完成”。 返回集群列表查看创建集群进度,当集群状态为“服务中”时,集群创建成功,详细参见创建HBase集群。 表2 自定义安全规则组 方向 协议 端口/范围 源地址/安全组 用途 出方向 全部 全部 0.0.0.0/0 出方向放行 入方向 TCP 16000 CloudTable HBase集群所在的安全组 HMaster RPC端口 TCP 16020 RegionServer RPC端口 TCP 2181 监听ZooKeeper客户端连接监听端口 TCP 2888 Follower连接监听端口 TCP 3888 ZooKeeper选举端口 TCP 2000 Hagent访问端口
  • 背景信息 假定这是一张记录用户访问某商品页面行为的表信息,使用MySQL客户端实现业务操作: 创建用户信息表example_tbl。 在用户信息中新增访问时间、城市、性别、停留时长、花费。 根据用户user_id查询用户的基本信息。 业务结束后,删除用户信息表。 表1 原始数据 user_id date city age sex last_visit_date cost max_dwell_time min_dwell_time 10000 2017-10-01 A 20 0 2017-10-01 06:00:00 20 10 10 10000 2017-10-01 A 20 0 2017-10-01 07:00:00 15 2 2 10001 2017-10-01 A 30 1 2017-10-01 17:05:45 2 22 22 10002 2017-10-02 B 20 1 2017-10-02 12:59:12 200 5 5 10003 2017-10-02 C 32 0 2017-10-02 11:20:00 30 11 11 10004 2017-10-01 D 35 0 2017-10-01 10:00:15 100 3 3 10004 2017-10-03 D 35 0 2017-10-03 10:20:22 11 6 6 字段含义说明。 表2 参数说明 数据 说明 10000 用户id,每个用户唯一识别id。 2017-10-01 数据入库时间,精确到日期。 A 用户所在城市。 20 用户年龄。 0 性别男(1代表女性)。 2017-10-01 06:00:00 用户本次访问该页面的时间,精确到秒。 20 用户本次访问产生的消费。 10 用户本次访问,驻留该页面的时间。 10 用户本次访问,驻留该页面的时间(冗余)。
  • 背景信息 假定这是一张学生成绩表信息,使用客户端实现业务操作: 创建用户信息表demo_t。 在用户信息中新增访问性别、科目。 根据用户user_id查询用户的基本信息。 业务结束后,删除用户信息表。 表1 成绩表 user_id name sex subject score time 10000 A 1 语文 89 2023-07-01 09:00:00 10001 B 0 数学 132 2023-07-01 09:00:00 10002 C 0 数学 90 2023-07-02 09:00:00 10003 D 0 英语 120 2023-07-01 14:00:00 10004 E 1 语文 101 2023-07-01 09:00:00 10005 F 1 语文 110 2023-07-01 09:00:00 表2 参数说明 参数 说明 10000 用户id,每个用户唯一识别id。 2023-07-01 09:00:00 数据入库时间。 A 学生姓名。 1 性别女(0代表男生)。 语文 代表学科。 89 代表学成绩。
  • 步骤五:插入数据 执行以下命令,使用ClickHouse集群快速创建数据表,并对表数据进行查询。 创建数据库。 create database DB_demo; 使用数据库。 use DB_demo; 创建表。 create table DB_demo_t(user_id Int32,name String,sex Tinyint ,subject String,score Int32,time datetime)engine=TinyLog; 插入数据。 insert into DB_demo_t(user_id,name,sex,subject,score,time) values('10000','A','1','语文','89','2023-07-01 09:00:00'); insert into DB_demo_t(user_id,name,sex,subject,score,time) values('10001','B','0','数学','132','2023-07-01 09:00:00'); insert into DB_demo_t(user_id,name,sex,subject,score,time) values('10002','C','0','数学','90','2023-07-02 09:00:00'); insert into DB_demo_t(user_id,name,sex,subject,score,time) values('10003','D','0','英语','120','2023-07-01 14:00:00'); insert into DB_demo_t(user_id,name,sex,subject,score,time) values('10004','E','1','语文','101','2023-07-01 09:00:00'); insert into DB_demo_t(user_id,name,sex,subject,score,time) values('10005','F','1','语文','110','2023-07-01 09:00:00'); 查询数据。 查询导入的数据。 host-172-16-13-95 :) select * from DB_demo_t; SELECT * FROM DB_demo_t Query id: 4e119f77-0592-4131-bbe2-31f42bc069a1 ┌─user_id─┬─name─┬─sex─┬─subject─┬─score─┬────────────────time─┐ │ 10000 │ A │ 1 │ 语文 │ 89 │ 2023-07-01 09:00:00 │ │ 10001 │ B │ 0 │ 数学 │ 132 │ 2023-07-01 09:00:00 │ │ 10002 │ C │ 0 │ 数学 │ 90 │ 2023-07-02 09:00:00 │ │ 10003 │ D │ 0 │ 英语 │ 120 │ 2023-07-01 14:00:00 │ │ 10004 │ E │ 1 │ 语文 │ 101 │ 2023-07-01 09:00:00 │ │ 10005 │ F │ 1 │ 语文 │ 110 │ 2023-07-01 09:00:00 │ └─────────┴──────┴─────┴────────┴───────┴─────────────────────┘ 6 rows in set. Elapsed: 0.004 sec. 删除数据。 删除表。 drop table DB_demo_t; 删除数据库。 drop database DB_demo;
  • 步骤 登录 表格存储 服务管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 参考下面表格配置集群的基本信息。 图1 区域 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。 有关区域的详细信息,请参见地区和终端节点。 可用区域 选择集群工作区域下关联的可用区。目前Doris支持的可用区请参见区域和可用区。 计费模式 计费模式有按需付费和包年/包月。 订购周期 当计费模式选择包年/包月时,才会出现此选项。客户根据需求选择订购时间。 自动续费 在购买页面勾选此选项,集群到期后会自动续费,不勾选集群到期需要手动续费。 图2 集群和网络配置 表2 集群和网络配置 参数 参数说明 名称 集群的名称。 必须以字母开头,由字母、数字、中划线组成,不能包含其他的特殊字符,并且长度为4~32个字符。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制,加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则,这些规则可以限定弹性云服务器的哪些端口或者协议可以访问,这些访问规则可以作用在进出虚拟机的网络访问上。当弹性云服务器加入该安全组后,即受到这些访问规则的保护。不属于该安全组的弹性云服务器,是无法同安全组内的弹性云服务器通信的。 您可以选择使用已有的安全组,或者单击“查看安全组”创建新的安全组。 关于安全组的更多信息,请参见《虚拟私有云用户指南》中的安全组。 数据引擎 选择需要创建的数据组件类型。 Doris内核版本 组件引擎版本。 CloudTable Doris集群规格说明:FE节点至少为3个,从而保证高可用。 切换内核版本时,需要重新选择规格,避免创建集群出现问题。 图3 FE节点配置 表3 FE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情,请参见表格存储服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或5个。 图4 BE节点配置 表4 BE节点 云存储 配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G(此规格建议仅用于功能体验,生产环境建议使用8U及以上)。 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情,请参见表格存储服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为400~10000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 FE的小规格4U16G、高IO、容量200G、节点3个,免费赠送,用于客户体验。 小规格支持包周期和按需计费。 构买FE小规格后,不支持水平和磁盘扩容,支持规格扩容。 集群规格扩容后,不在赠送,按照扩容后的规格收费。 冷热分离正常收费。 表5 BE节点本地SSD盘配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U32G(本地盘容量:1.6T)。 8U64G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 16U128G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 64U256G(本地盘容量:6.4T)。 存储规格 磁盘:支持本地SSD盘。 容量根据选择的计算规格变化。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 BE节点本地SSD盘不支持水平扩容、磁盘扩容与规格变更。 FE节点不支持本地SSD盘。 图5 密码设置 表6 用户名密码参数 参数 参数说明 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 用户名 Doris管理用户,用于连接Doris集群,默认为admin,不可修改。 密码 设置admin用户密码。 密码复杂度要求如下: 8~12个字符。 至少包含以下字符中的4种:大写字母,小写字母、数字、特殊字符(¥@¥!%*?&)。 不能与用户名或倒序用户名相同。 强弱密码检查。 说明: 请妥善保管并定期更新密码,避免安全风险。 确认密码 设置admin用户密码。 是否开启Broker进程 是否打开Broker进程,用于给客户做数据导入场景, 仅支持创建时开启。 是否开启https 是否开启https访问通道加密,https协议端口为8050。 说明: 开启https时连接集群只能使用MySQL8及以上客户端,连接端口为9030,使用方法请参见连接客户端。 创建集群开启https选项,后续无法关闭。 创建集群未开启https选项,后续无法开启。 是否开启接口认证 开启后,集群内rest接口需要添加账号密码认证,但同时会略微降低集群性能。 说明: 开启https选项后,显示此字段。 此功能只在Doris2.0.5及以上版本显示。 开启该选项后,再使用Doris集群内的rest接口,如:修改参数、获取集群监控数据等接口需要添加账号密码认证。 是否开启冷热分离 打开开关,集群支持冷热分离特性,将数据分类存储在不同介质上,有效降低存储成本。关闭开关,集群不支持冷热分离特性。 配置好参数,单击“立即购买”。 进“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务。 单击“返回集群管理列表”,可以查看到集群创建的状态。 集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。 如果创建的集群计费模式为包年/包月,单击提交,成功提交集群创建任务。 单击“去支付”,跳转到购买页面,确认信息后,选择合适的支付方式,确认付款。 返回控制台,查看集群状态,集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。
  • 已完成的慢SQL查询操作步骤 登录表格存储服务管理控制台。 在集群列表中找到所要查看的集群并单击“集群名称”,进入详情页。 在左侧导航树,单击“慢查询管理”,进入已完成的慢查询页面。 可通过对慢查询运行时长、时间范围、状态、用户、远程IP以及SQL语句的调整来实现数据的筛选。 表2 已完成慢sql查询参数说明 参数 参数说明 查询编号 查询每一个SQL命令的ID。 执行开始时间 SQL语句执行开始时间。 执行结束时间 SQL语句执行结束时间。 数据库 使用的数据库。 SQL语句 执行的SQL语句。 运行时长(ms) SQL执行时长。 状态 SQL运行的状态。 用户 提交SQL的用户。 远程IP 用户提交SQL使用的客户端地址。
  • 运行中的慢SQL查询操作步骤 登录表格存储服务管理控制台。 在集群列表中找到所要查看的集群并单击“集群名称”,进入详情页。 在左侧导航树,单击“慢查询管理”,进入运行中慢查询页面。 可通过对慢查询运行时长、时间范围、用户、远程IP以及SQL语句的调整来实现数据的筛选以及结束运行中的SQL的命令。 表1 运行中慢sql查询参数说明 参数 参数说明 查询编号 查询每一个SQL命令的ID。 执行开始时间 SQL语句执行开始时间。 执行结束时间 SQL语句执行结束时间。 数据库 使用的数据库。 SQL语句 执行的SQL语句。 运行时长(ms) SQL执行时长。 状态 SQL运行的状态。 用户 提交SQL的用户。 远程IP 用户提交SQL使用的客户端地址。 操作 进行停止查询等操作。
  • 查看权限 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧集群管理,显示当前集群列表,选择需要操作的集群,进入用户管理页面。 单击操作列“查看权限”,弹出用户权限页面。 表2 查看权限 参数 说明 用户名 新建的用户名。 全局权限 查询、插入、更改、创建、删除。 各级权限 数据库和表:创建的数据库和表。 高危权限:创建表、删除表。 普通权限:查询、插入、更改。 支持查看账户对数据库的操作权限。
  • 角色管理命令简介 此章节主要介绍用角色管理SQL基本语法和使用说明。 创建角色,role_name:指新建角色名称。 CREATE role IF NOT EXISTS 'role_name' ON CLUSTER default_cluster; 给角色赋予权限。 授予全部创建(库、表)权限。 GRANT CREATE ON *.* TO role1 ON CLUSTER default_cluster; 授予test_db库下创建表权限。 GRANT CREATE TABLE ON test_db.* TO role1; 授予全部删除(库、表)权限。 GRANT DROP ON test_db.* TO role1; 删除角色。 DROP ROLE 'role_name' ON CLUSTER default_cluster; 查询用户的权限和角色。 查询用户权限。 show grants for all; 查询角色权限。 show grants for role1; 父主题: ClickHouse角色管理
  • 用户管理命令简介 此章节主要介绍用户管理SQL基本语法和使用说明。 创建用户。 CREATE USER name IF NOT EXISTS ON CLUSTER default_cluster IDENTIFIED WITH sha256_password BY 'password'; 指定IP。 CREATE USER name HOST IP '127.0.0.x' IDENTIFIED WITH sha256_password BY 'password'; 修改用户密码。 ALTER USER name IF EXISTSON CLUSTER default_cluster IDENTIFIED WITH sha256_password BY 'password'; 给用户分配角色。 GRANT role1, role2 TO new_user ON CLUSTER default_cluster; 撤销分配角色。 REVOKE role1 FROM user ON CLUSTER default_cluster; 删除用户。 DROP USER IF EXISTS ‘name1’ON CLUSTER default_cluster; 父主题: ClickHouse用户管理
  • 支持的关键操作审计日志 CloudTable使用 云审计 服务,可以记录与CloudTable服务相关的操作事件,便于日后的查询、审计和回溯。 CloudTable的以下关键操作事件将记录审计日志,详细内容如表1所示。 表1 云审计服务支持的CloudTable操作事件列表 操作名称 事件名称 资源类型 创建集群 createCluster cluster 删除集群 deleteCloudTableCluster cluster 扩容集群 growCloudTableCluster cluster 重启集群 rebootCloudTableCluster cluster 设置存储配额 storageClusterAction cluster 特性开关 modifyClusterFeatures cluster 参数配置 modifyClusterSetting cluster 父主题: 审计日志
  • 场景介绍 使用HBase二级索引可以加速带Filter的条件查询,支持HIndex(本地索引,即Local Secondary Index )和全局二级索引(Global Secondary Index)。全局二级索引相较于本地索引(HIndex),查询性能更好,适合读时延要求高的场景。 HBase全局二级索引,使用独立的索引表存储索引数据。当给定的查询条件可以命中索引时,可以将对数据表的全表查询转换为对索引表的精确范围查询,提升查询速度。开启全局二级索引特性后,应用侧代码无需特殊修改,简单易用。 HBase全局二级索引支持以下重点特性: 复合索引 支持指定多个列作为索引列(支持跨列族)。 覆盖索引 支持指定多个列/列族作为覆盖列/列族冗余存储到索引表中,用于支持索引查询中对非索引列的快速查询。 索引TTL 支持索引表TTL,用于支持数据表开启TTL的场景,为了保障与数据表的一致性,索引表TTL将自动继承数据表索引列和覆盖列的TTL,不支持手动指定。 索引在线变更 支持索引在线创建、删除和修改状态,不影响数据表读写。 索引在线修复 当查询命中的索引数据无效时,可以触发索引修复,保障最终查询结果正确。 索引工具 支持索引一致性检查、索引修复、索引创建/删除/修改状态、索引数据重建等功能。
  • 已完成的慢SQL查询操作步骤 登录表格存储服务管理控制台。 在集群列表中找到所要查看的集群并单击“集群名称”,进入详情页。 在左侧导航树,单击“慢查询管理”,进入已完成的慢查询页面。 可通过对慢查询运行时长、时间范围、状态、用户、远程IP以及SQL语句的调整来实现数据的筛选。 表2 已完成慢sql查询参数说明 参数 参数说明 查询编号 查询每一个SQL命令的ID。 执行开始时间 SQL语句执行开始时间。 执行结束时间 SQL语句执行结束时间。 数据库 使用的数据库。 SQL语句 执行的SQL语句。 运行时长(ms) SQL执行时长。 状态 SQL运行的状态。 用户 提交SQL的用户。 远程IP 用户提交SQL使用的客户端地址。
  • 运行中的慢SQL查询操作步骤 登录表格存储服务管理控制台。 在集群列表中找到所要查看的集群并单击“集群名称”,进入详情页。 在左侧导航树,单击“慢查询管理”,进入运行中慢查询页面。 可通过对慢查询运行时长、时间范围、用户、远程IP以及SQL语句的调整来实现数据的筛选以及结束运行中的SQL的命令。 表1 运行中慢sql查询参数说明 参数 参数说明 查询编号 查询每一个SQL命令的ID。 执行开始时间 SQL语句执行开始时间。 执行结束时间 SQL语句执行结束时间。 数据库 使用的数据库。 SQL语句 执行的SQL语句。 运行时长(ms) SQL执行时长。 状态 SQL运行的状态。 用户 提交SQL的用户。 远程IP 用户提交SQL使用的客户端地址。 操作 进行停止查询等操作。
  • 一键部署客户端 准备Linux弹性云服务器。 使用一键部署客户端工具,建议Linux弹性云服务器的操作系统类型为EulerOS,CentOS,Ubuntu和SUSE。具体操作请参见准备弹性云服务器。 下载客户端一键部署工具。 使用SSH登录工具(如PuTTY)通过“弹性IP”远程登录到Linux弹性云服务器,然后执行如下命令,获取客户端一键部署工具: curl -O -k "https://cloudtable-publish.obs.myhuaweicloud.com/cloudtable-client/quick_start_hbase_shell.sh" 此命令适用于HBase 2.x版本。 一键部署包内置校验文件。 准备集群访问地址。 登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。该参数值就是集群访问地址,如图1所示。 图1 ZK链接地址 使用工具部署客户端。 请将以下命令中的"$zookeeper_address"参数替换为3获取的ZK链接地址,然后在弹性云服务器命令行窗口,执行该命令一键部署客户端。 普通集群一键部署命令。 source quick_start_hbase_shell.sh $zookeeper_address 启动Shell访问集群。 在上一步执行source命令自动部署客户端后,就已自动启动了HBase Shell。在后续使用过程中,您也可以执行“bin/hbase shell”命令启动Shell访问集群。