华为云用户手册

  • 步骤4:执行变更流水线 代码更新完成后,即可通过变更流水线执行变更。 在微服务变更列表页面,单击变更名称,进入“变更详情”页面。 单击右上角“提交发布”,弹出“提交发布”确认框,提示是否确认将变更提交至变更流水线。 图1 提交发布 单击“确定”,完成变更提交,页面跳转至对应变更流水线发布列表页面。 单击右上角“执行”,弹出“执行配置”弹窗,选择刚提交的变更,其他配置保持默认。 图2 执行配置 单击“执行”,启动变更流程。 微服务变更流水线在运行过程中,会自动增加“合并集成分支”和“合并主干”阶段,并将本次变更关联的特性分支合并到该集成分支上。 代码检查、构建任务执行成功后,系统自动进入“合并主干”阶段,并弹出“手动确认”对话框。 图3 执行流水线 单击“继续执行”,“合并主干”阶段执行完成后,系统将自动完成以下事项。 将本次发布的变更状态更新为“已发布”。 将本次发布的变更关联的工作项状态更新为“已关闭”。 将本次发布使用的集成分支代码内容合并到微服务默认分支,实现代码自动合并。 至此,即完成了一次基本的微服务变更发布流程。
  • 方案概述 CodeArts Pipeline为企业提供了一种微服务模型,将企业大军团的作战方式转变为小团队精英作战方式,支持每个微服务独立进行开发、验证、部署及上线发布,缩短需求发布周期。同时支持企业按照业务功能组织团队,优化管理模型,使运作更精细化,有效提升团队运作效率。 在微服务中,用户可以创建流水线资源,并将其设置为变更流水线,用于与微服务下变更资源进行联动,通过变更流水线发布一个或多个变更来实现项目的快速交付。
  • 步骤2:新建变更流水线 在微服务列表页面,单击微服务名称,进入微服务“概览”页面。 切换到“流水线”页签,进入微服务流水线列表页面。 单击“新建流水线”,进入“新建流水线 ”页面,配置以下信息。 表3 新建变更流水线 参数项 说明 所属项目 变更流水线所在的项目,不可更改。 流水线分组 变更流水线的分组,可在新建变更流水线时选择分组,同时也可新建或编辑分组。 名称 变更流水线的名称,使用自动生成的即可。 流水线源 变更流水线关联的源码类型,自动和微服务保持一致。 代码仓 变更流水线关联的源码仓库,自动和微服务保持一致。 默认分支 默认使用的分支,自动和微服务保持一致。 Repo https授权 打开“基于变更触发”后需配置“Repo HTTPS授权”,配置授权扩展点以提升代码仓操作权限。选择准备工作中已创建的授权扩展点“HttpsEndpoint01”。 别名 输入别名,会生成该仓库对应的相关系统参数,这里不设置。 基于变更触发 打开“基于变更触发”,将当前流水线设置为微服务变更流水线。 描述 对变更流水线的介绍说明,选填。 微服务变更流水线仅支持基于变更触发运行,且单个微服务下只能存在一条微服务变更流水线。 单击“下一步”,选择“Maven构建”模板,自动生成阶段和任务,使用默认配置即可。 单击“保存”,完成微服务变更流水线的创建。
  • 步骤3:新建微服务变更 重新进入微服务“概览”页面。 切换到“变更”页签,进入微服务变更列表页面。 单击“新建变更”,进入“新建变更 ”页面,配置以下信息。 表4 新建变更 参数项 说明 变更标题 变更的名称,输入“fix-a-bug”。 代码仓 变更关联的源码仓库,自动和微服务保持一致。 代码分支 变更新需求的开发分支,变更通过流水线发布成功后,会将代码分支自动合并至微服务的默认分支。选择“从默认分支拉取新分支”并输入分支名称“bugfix”。 关联工作项 变更关联的工作项,选择准备工作中已创建的工作项“BUGFIX”。 单击“确定”,完成变更的创建。 变更创建完成后,进入代码开发阶段,系统基于微服务默认分支自动创建出本次变更的特性分支,开发人员可以基于该特性分支进行代码开发,问题修复后,模拟向该分支提交代码。
  • 操作流程 本文介绍如何通过微服务变更流水线模拟修复项目下的一个BUG并快速发布,基本操作流程如下: 步骤1:新建流水线微服务 步骤2:新建变更流水线 步骤3:新建微服务变更 步骤4:执行变更流水线 表1 操作流程说明 流程 说明 新建流水线微服务 在项目下新建一个微服务,用于管理某个特定的业务功能。 新建变更流水线 在微服务下新建一条变更流水线,用于发布微服务下的变更。 新建微服务变更 在微服务下新建一个变更,承载项目下修复BUG的开发活动。 执行变更流水线 执行流水线,发布变更代码。
  • CodeArts Pipeline最佳实践汇总 本文汇总了基于流水线(CodeArts Pipeline)常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,助力用户完成CI/CD持续交付。 表1 CodeArts Pipeline最佳实践一览表 实践 描述 通过微服务变更流水线修复项目BUG并快速发布 CodeArts Pipeline为企业提供了一种微服务模型,将企业大军团的作战方式转变为小团队精英作战方式,支持每个微服务独立进行开发、验证、部署及上线发布,缩短需求发布周期。同时支持企业按照业务功能组织团队,优化管理模型,使运作更精细化,有效提升团队运作效率。 该解决方案介绍如何通过微服务变更流水线模拟修复项目下的一个BUG并快速发布。 配置准出条件并对代码检查结果进行校验 CodeArts Pipeline提供统一的准出条件管理能力,通过配置规则和策略,实现阶段准出校验,并最终控制流水线的执行。用户根据实际需要将策略资源应用到流水线作为准出条件,帮助高效管理项目,保障产品高质量交付。 该解决方案基于流水线准出条件-Check代码检查规则策略,通过添加代码检查任务所在阶段的准出条件,对代码检查任务的检查结果进行自动化校验,只有检查结果满足准出条件,才可以进入下一个阶段。 通过流水线参数串联编译构建服务和部署服务 使用编译构建生成软件包并通过部署服务部署时,手动配置获取软件包容易导致软件包不一致,且页面跳转多操作繁琐。通过流水线参数串联编译构建服务和部署服务,将参数传递给构建任务和部署任务,实现任务间数据流动的统一,只需要配置好流水线参数,即可完成构建、部署任务的数据拉通。 该解决方案以版本号参数为例,介绍如何将流水线参数传递给编译构建任务和部署应用。 通过流水线生成标签名并通过流水线上下文传递为代码仓库创建标签 流水线上下文存储了流水线运行的实例、变量、任务等信息,每个上下文都是一个包含各种属性的对象。使用流水线时,当一个任务生成了数据或结果,且这些数据或结果需要在后续的任务中使用时,可以基于流水线上下文来实现,流水线上下文可以帮助实现任务间的信息传递和协作,使得整个流水线运作更加灵活和高效。 该解决方案以通过流水线自动为代码仓库创建标签为例,介绍流水线上下文在流水线任务间的传递过程。 基于Kubernetes原生Service的场景完成微服务蓝绿发布 灰度发布是在生产环境中创建与当前线上服务完全一致的工作负载(灰度负载),仅对其中的包版本(业务代码和配置)进行更新,但是新创建的工作负载不承接任何现网流量,对线上用户没有任何影响,就可以在没有风险的情况下,在生产环境进行测试了。在灰度环境验证无问题之后,就可以逐渐将线上用户的真实访问引流到灰度负载,直至完全引流后,新创建的灰度负载承接所有现网流量,原先的线上负载不承接任何流量,此时就可以安全地删除旧负载,保留新负载,完成一次发布。 该解决方案介绍在不需要占用集群额外资源安装插件的情况下,基于Kubernetes原生Service的场景完成微服务蓝绿发布。 HE2E DevOps实践:配置流水线 该解决方案以“DevOps全流程示例项目”为例,介介绍如何将代码检查、构建、部署任务串联起来,实现持续交付。
  • 步骤2:配置发布管理策略 在环境列表页面,单击刚创建的环境名称,进入“环境信息”页面。 单击“发布策略”页签,切换到“发布策略”页面。 单击“自定义策略”旁的,弹出“新建策略”对话框,选择系统提供的“灰度升级模板”。 单击“确定”,然后逐步完成插件配置。 图1 配置发布策略 灰度起负载 表3 灰度起负载参数说明 参数项 说明 部署方式 选择“镜像创建”,将创建与线上配置完全一致的工作负载,仅更新镜像包版本(业务代码及配置)。 命名空间 选择待升级的服务所在的命名空间。 服务 待升级的服务,选择准备工作中已创建的服务。 自定义灰度版本号 开关关闭,系统将自动随机生成灰度版本号;开关开启,用户可以按需配置灰度版本号。这里选择开启开关。 灰度版本号 灰度版本号将作为新旧负载的引流标识,输入“${TIMESTAMP}”,引用系统时间戳环境变量作为灰度版本号,例如:20230401095436。 基于所选Service关联的Deployment替换新镜像,创建新负载(灰度负载)。 新负载内所有配置,如CPU、内存、副本数等,与旧负载(线上负载)完全一致。 新负载不承接任何流量,可供开发人员进行测试,且对旧负载(线上负载)没有任何影响。 新负载名称为“旧负载名称-灰度版本号”。 灰度引流 选择“Service蓝绿引流”,基于Service将所有流量切换至新负载,完成引流后,旧负载不承接任何流量。 灰度下线 默认删除线上的旧负载,无需配置。 人工卡点 为了降低引流过程中的风险,并给运维、测试人员预留充足的测试时间,可以在灰度引流、灰度下线等较高危操作前,添加人工卡点进行验证。 图2 配置人工卡点 表4 人工卡点参数说明 参数项 说明 超时处理 卡点超时后处理方式,选择“卡点失败,发布流终止执行”,即超时未处理则终止执行。 卡点时长 卡点处理时长,可选择最长时间1分钟至12小时。 卡点说明 自定义描述,如:引流前对灰度负载执行手工验证。 单击“保存并应用”,即可将该策略设置为“使用中”策略,至此完成策略配置。
  • 操作流程 本文介绍在不需要占用集群额外资源安装插件的情况下,基于Kubernetes原生Service的场景完成微服务蓝绿发布,基本操作流程如下: 步骤1:新建发布管理环境 步骤2:配置发布管理策略 步骤3:通过云原生发布插件进行发布 表1 操作流程说明 流程 说明 新建发布管理环境 新建一个用于灰度发布的测试环境,并配置好资源集群等信息。 配置发布管理环境 为发布环境配置发布策略,编排配置发布流程及插件。 通过云原生发布插件进行发布 通过流水线云原生发布插件,发布环境。
  • 准备工作 新建项目(选择“Scrum”模板,命名为“Project01”)。 新建空仓库空模板流水线(命名为“Pipeline01”)。 具有创建部署应用的权限,可参考部署服务编辑权限管理添加权限。 开通购买CCE服务,并在CCE集群中创建服务相关Service和Deployment:创建Service和Deployment。 Service和Deployment资源相关参考:服务(Service)、Deployments。 Service需要配置为关联至Deployment而非Pod,并且有且仅有一个Deployment与之关联。
  • 方案概述 应用场景 在进行服务发布的时候,通常会碰到这样的问题: 直接在生产环境发布后再进行测试,可能会带来较大风险,对线上用户造成影响。 测试环境虽然和生产环境高度一致,然而实际情况下,由于资源配置、网络环境等,测试环境和生产环境之间总会存在差异,因此难以在测试环境覆盖验证所有场景。 通过灰度发布可以实现在不引发风险的同时,在生产环境进行发布及验证。 方案优势 灰度发布是在生产环境中创建与当前线上服务完全一致的工作负载(灰度负载),仅对其中的包版本(业务代码和配置)进行更新,但是新创建的工作负载不承接任何现网流量,对线上用户没有任何影响,就可以在没有风险的情况下,在生产环境进行测试了。在灰度环境验证无问题之后,就可以逐渐将线上用户的真实访问引流到灰度负载,直至完全引流后,新创建的灰度负载承接所有现网流量,原先的线上负载不承接任何流量,此时就可以安全地删除旧负载,保留新负载,完成一次发布。 按照引流方式的不同,当前常用的灰度发布方式包括:快速完成100%流量切换的蓝绿发布和按流量比例或线上请求内容引流的金丝雀发布。通常情况,蓝绿发布已经足以降低发布风险,蓝绿发布有如下优势: 不需要集群安装额外的插件。 无风险的进行生产环境灰度验证。 快速进行流量切换(从旧负载切换新负载,或从新负载切回旧负载)。 在验证阶段发现问题后,可以快速将线上服务恢复(回滚)至发布前的状态。
  • 创建StarRocks集群告警规则 登录 表格存储服务 管理控制台。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。 在集群列表中,找到所需要集群,在对应的“操作”列中,单击“查看监控信息”,系统将跳转到该集群的“云服务监控”页面。 待查看监控信息的集群,其状态必须为“服务中”。 单击“创建告警规则”,进入创建告警规则页面进行参数配置。 具体参数设置请参考创建告警规则和通知。 配置完成后,单击“立即创建”,完成告警规则的创建。告警规则添加完成后,当监控指标触发设定的阈值时, 云监控 会在第一时间通过 消息通知 服务实时告知您资源异常,以免因此造成业务损失。
  • 配置StarRocks集群监控数据转存OBS 配置数据存储是指对所有监控指标原始数据的保存。如果您尚未配置数据存储的OBS桶,则该项显示为空。在计算单元列表中找到需要配置的计算单元,然后单击“配置数据存储”可以将监控数据永久存储到OBS桶中,配置完成后,“永久数据存储 ”将显示所配置的OBS路径。 登录 表格存储 服务管理控制台。 单击管理控制台左上角的,选择区域。 进入集群管理页面,在集群列表中找到目标集群,在操作列中单击查看监控信息,系统会跳到该集群的云服务监控页面。 在“云服务监控”页面中,单击集群ID前的按钮展开计算单元列表。 单击配置数据存储,弹出配置数据存储页面。 找到目标计算单元,单击“配置数据存储”为该计算单元配置监控数据的存储路径。 在弹出的“配置数据存储”页面,配置如下参数,然后单击“确定”。 表1 数据存储参数说明 参数名称 说明 样例 OBS转储 是否配置OBS转储。首次配置选择“是”。 是 新创建OBS桶 如果已有OBS桶,可不用创建。 如果没有OBS桶,可开启该选项创建新的OBS桶。 是 转储OBS桶 已有OBS桶时,选择已有的桶。 如果没有OBS桶,输入需要创建的OBS桶名。 - 监控数据文件前缀 通过设置监控数据文件前缀可以方便您区分OBS桶中的 云监控服务 数据文件与其他普通文件。 -
  • CES 界面查看StarRocks集群监控信息 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 进入集群管理页面,在集群列表中找到需要查看的集群,在对应的操作列中,单击查看监控信息,系统会跳到该集群的“云服务监控”页面。 待查看集群,其状态必须为“服务中”。 在集群的“云服务监控”页面中,单击集群ID前的按钮展开计算单元列表,选择对应节点查看监控信息。 如果您查看监控页面的指标太多,可以对指标进行设置,设置自己需要查看的指标。 如果指标太多,可以通过设置监控指标页面对指标进行删除。 如果页面显示的指标没有您想看的指标,可以在设置监控指标页面进行添加。 选择您在页面中要展示的指标名称,拖动选中指标可以对指标进行排序。 如果想实时查看监控数据,可以开启自动刷新。平台可按1小时、3小时、12小时、24小时、7天的间隔自动刷新监控图表。 如果想放大单个指标视图,在监控指标视图右上角,单击可查看监控指标视图详情。
  • StarRocks监控指标 表1 FE监控指标 指标名称 显示名 含义 指标单位 监控周期 命名空间 cpu_usage CPU使用率 统计测量对象的CPU使用率。 % 60s SYS.CLOUDTABLE memory_usage 内存使用量 每个节点的内存使用量。 MB 60s SYS.CLOUDTABLE memory_usage_ratio 内存使用率 统计测量对象的内存使用率。 % 60s SYS.CLOUDTABLE disk_usage 磁盘使用量 每个节点的磁盘使用量。 MB 60s SYS.CLOUDTABLE cmdForUsedStorageRate 已用存储空间比率 统计测量对象所在集群的已用存储空间大小占总配额的比率。 % 60s SYS.CLOUDTABLE disk_throughput_read_rate 磁盘吞吐读速率 磁盘读取吞吐速率。 Byte/s、KiB/s、MiB/s、GiB/s、TiB/s、PiB/s 60s SYS.CLOUDTABLE disk_throughput_write_rate 磁盘吞吐写速率 磁盘写入吞吐速率。 Byte/s、KiB/s、MiB/s、GiB/s、TiB/s、PiB/s 60s SYS.CLOUDTABLE network_throughput_inbound_rate 网络吞吐流入速率 每个节点每秒的网络流入数据量。 KB/s 60s SYS.CLOUDTABLE network_throughput_outgoing_rate 网络吞吐流出速率 每个节点每秒的网络流出数据量。 KB/s 60s SYS.CLOUDTABLE starrocks_fe_connection_total 当前FE的MySQL端口连接数 用于监控查询连接数。如果连接数超限,则新的连接将无法接入。 - 60s SYS.CLOUDTABLE starrocks_fe_edit_log_read 元数据日志读取次数的计数 通过斜率观察元数据读取频率是否正常。 - 60s SYS.CLOUDTABLE starrocks_fe_edit_log_write 元数据日志写入次数的计数 通过斜率观察元数据读取频率是否正常。 - 60s SYS.CLOUDTABLE starrocks_fe_max_journal_id 当前FE节点最大元数据日志ID 如果是Master FE,则是当前写入的最大ID,如果是非Master FE,则代表当前回放的元数据日志最大ID;用于观察多个FE之间的id是否差距过大,过大则表示元数据同步出现问题。 - 60s SYS.CLOUDTABLE starrocks_fe_max_tablet_compaction_score 所有BE节点中最大的compaction score值 该值可以观测当前集群最大的 compaction score,以判断是否过高,如过高则可能出现查询或写入延迟。 - 60s SYS.CLOUDTABLE starrocks_fe_qps 当前FE每秒查询数量(仅统计查询请求) QPS count/s 60s SYS.CLOUDTABLE starrocks_fe_query_err 错误查询的累积值 - - 60s SYS.CLOUDTABLE starrocks_fe_query_err_rate 每秒错误查询数 - count/s 60s SYS.CLOUDTABLE starrocks_fe_query_latency_ms_99 查询请求延迟的99分位的查询延迟 - ms 60s SYS.CLOUDTABLE starrocks_fe_query_latency_ms_999 查询请求延迟的999分位的查询延迟 - ms 60s SYS.CLOUDTABLE starrocks_fe_query_total 所有查询请求数 - - 60s SYS.CLOUDTABLE starrocks_fe_report_queue_size BE的各种定期汇报任务在FE端的队列长度 该值反映了汇报任务在Master FE节点上的阻塞程度,数值越大,表示FE处理能力不足。 - 60s SYS.CLOUDTABLE starrocks_fe_request_total 所有通过MySQL端口接收的操作请求(包括查询和其他语句) - - 60s SYS.CLOUDTABLE starrocks_fe_routine_load_error_rows 集群内所有Routine Load作业的错误行数总和 - - 60s SYS.CLOUDTABLE starrocks_fe_routine_load_receive_bytes 集群内所有Routine Load作业接收的数据量大小 - - 60s SYS.CLOUDTABLE starrocks_fe_routine_load_rows 集群内所有Routine Load作业接收的数据行数 - - 60s SYS.CLOUDTABLE starrocks_fe_rps 当前FE每秒请求数量(包含查询以及其他各类语句) 和QPS配合来查看集群处理请求的量。 - 60s SYS.CLOUDTABLE starrocks_fe_scheduled_tablet_num Master FE节点正在调度的tablet数量 包括正在修复的副本和正在均衡的副本;该数值可以反映当前集群,正在迁移的tablet数量;如果长时间有值,说明集群不稳定。 - 60s SYS.CLOUDTABLE jvm_heap_size_bytes_committed 已申请的堆内存 观测JVM内存使用情况。 Byte、KiB、MiB、GiB、TiB、PiB 60s SYS.CLOUDTABLE jvm_heap_size_bytes_max 最大堆内存 观测JVM内存使用情况。 Byte、KiB、MiB、GiB、TiB、PiB 60s SYS.CLOUDTABLE jvm_heap_size_bytes_used 已使用的堆内存 观测JVM内存使用情况。 Byte、KiB、MiB、GiB、TiB、PiB 60s SYS.CLOUDTABLE jvm_non_heap_size_bytes_committed 已申请的堆外内存 - Byte、KiB、MiB、GiB、TiB、PiB 60s SYS.CLOUDTABLE jvm_non_heap_size_bytes_used 已使用堆外内存 - Byte、KiB、MiB、GiB、TiB、PiB 60s SYS.CLOUDTABLE jvm_thread_peak_count 线程峰值计数 观测JVM线程数是否合理 - 60s SYS.CLOUDTABLE 表2 BE监控指标 指标名称 显示名 含义 指标单位 监控周期 命名空间 cpu_usage CPU使用率 统计测量对象的CPU使用率。 % 60s SYS.CLOUDTABLE memory_usage 内存使用量 每个节点的内存使用量。 MB 60s SYS.CLOUDTABLE memory_usage 内存使用量 每个节点的内存使用量。 MB 60s SYS.CLOUDTABLE memory_usage_ratio 内存使用率 统计测量对象的内存使用率。 % 60s SYS.CLOUDTABLE disk_usage 磁盘使用量 每个节点的磁盘使用量。 MB 60s SYS.CLOUDTABLE cmdForUsedStorageRate 已用存储空间比率 统计测量对象所在集群的已用存储空间大小占总配额的比率。 % 60s SYS.CLOUDTABLE disk_throughput_read_rate 磁盘吞吐读速率 磁盘读取吞吐速率。 Byte/s、KiB/s、MiB/s、GiB/s、TiB/s、PiB/s 60s SYS.CLOUDTABLE disk_throughput_write_rate 磁盘吞吐写速率 磁盘读取吞吐速率。 Byte/s、KiB/s、MiB/s、GiB/s、TiB/s、PiB/s 60s SYS.CLOUDTABLE network_throughput_inbound_rate 网络吞吐流入速率 每个节点每秒的网络流入数据量。 KB/s 60s SYS.CLOUDTABLE network_throughput_outgoing_rate 网络吞吐流出速率 每个节点每秒的网络流出数据量。 KB/s 60s SYS.CLOUDTABLE starrocks_be_active_scan_context_count 由外部直接打开的scanner的个数 - - 60s SYS.CLOUDTABLE starrocks_be_brpc_endpoint_stub_count 已创建的brpc stub的数量(BE) 这些stub用于BE之间的交互。 - 60s SYS.CLOUDTABLE starrocks_be_chunk_pool_local_core_alloc_count ChunkAllocator中,从绑定的core的内存队列中分配内存的次数 - - 60s SYS.CLOUDTABLE starrocks_be_chunk_pool_other_core_alloc_count ChunkAllocator中,从其他的core的内存队列中分配内存的次数 - - 60s SYS.CLOUDTABLE starrocks_be_chunk_pool_system_alloc_cost_ns SystemAllocator申请内存的耗时 累计值,通过斜率可以观测内存分配的耗时。 ns 60s SYS.CLOUDTABLE starrocks_be_chunk_pool_system_alloc_count SystemAllocator申请内存的次数 - - 60s SYS.CLOUDTABLE starrocks_be_chunk_pool_system_free_cost_ns SystemAllocator释放内存的耗时累计值 通过斜率可以观测内存释放的耗时。 ns 60s SYS.CLOUDTABLE starrocks_be_chunk_pool_system_free_count SystemAllocator释放内存的次数 - - 60s SYS.CLOUDTABLE starrocks_be_compaction_bytes_total_base Base Compaction的数据量 累计值。 - 60s SYS.CLOUDTABLE starrocks_be_compaction_bytes_total_cumulative Cumulative Compaction的数据量 累计值。 - 60s SYS.CLOUDTABLE starrocks_be_compaction_deltas_total_base Base Compaction处理的rowset个数 累计值。 - 60s SYS.CLOUDTABLE starrocks_be_compaction_deltas_total_cumulative Cumulative Compaction处理的rowset个数 Cumulative Compaction处理的rowset个数。 - 60s SYS.CLOUDTABLE starrocks_be_data_stream_receiver_count 数据接收端Receiver的数量 - - 60s SYS.CLOUDTABLE starrocks_be_fragment_request_duration_us 所有fragment intance的执行时间 累计值,通过斜率观测instance的执行耗时。 us 60s SYS.CLOUDTABLE starrocks_be_fragment_requests_total 执行过的fragment instance的数量 累计值。 - 60s SYS.CLOUDTABLE starrocks_be_load_bytes 通过tablet sink发送的数量 累计值,可观测导入数据量。 - 60s SYS.CLOUDTABLE starrocks_be_load_channel_count 当前打开的load channel个数 数值越大,说明当前正在执行的导入任务越多。 - 60s SYS.CLOUDTABLE starrocks_be_load_rows 通过tablet sink发送的行数 累计值,可观测导入数据量。 - 60s SYS.CLOUDTABLE starrocks_be_memory_pool_bytes_total 所有MemPool当前占用的内存大小 - - 60s SYS.CLOUDTABLE starrocks_be_memtable_flush_duration_us memtable写入磁盘的耗时 累计值,通过斜率可以观测写入延迟。 us 60s SYS.CLOUDTABLE starrocks_be_memtable_flush_total memtable写入磁盘的个数 累计值,通过斜率可以计算写入文件的频率。 - 60s SYS.CLOUDTABLE starrocks_be_meta_request_duration_read 访问RocksDB中的meta的读取耗时 us - 60s SYS.CLOUDTABLE starrocks_be_meta_request_duration_write 访问RocksDB中的meta的写入耗时 us - 60s SYS.CLOUDTABLE starrocks_be_meta_request_total_read 访问RocksDB中的meta的读取次数 累计值。 - 60s SYS.CLOUDTABLE starrocks_be_meta_request_total_write 访问RocksDB中的meta的写入次数 累计值。 - 60s SYS.CLOUDTABLE starrocks_be_plan_fragment_count 当前已接收的fragment instance的数量 观测是否出现instance堆积。 - 60s SYS.CLOUDTABLE starrocks_be_process_fd_num_limit_hard BE进程的文件句柄数硬限 - - 60s SYS.CLOUDTABLE starrocks_be_process_fd_num_limit_soft BE进程的文件句柄数软限 - - 60s SYS.CLOUDTABLE starrocks_be_process_fd_num_used BE进程已使用的文件句柄数 - - 60s SYS.CLOUDTABLE starrocks_be_process_thread_num BE进程线程数 - - 60s SYS.CLOUDTABLE starrocks_be_query_scan_bytes 读取数据量的累计值 只统计读取Olap表的数据量。 - 60s SYS.CLOUDTABLE starrocks_be_query_scan_bytes_per_second 读取速率 - Byte/s、KiB/s、MiB/s、GiB/s、TiB/s、PiB/s 60s SYS.CLOUDTABLE starrocks_be_query_scan_rows 读取行数 累计值,只统计读取Olap表的数据量,通过斜率观测查询速率。 - 60s SYS.CLOUDTABLE starrocks_be_result_block_queue_count 当前查询结果缓存中的fragment instance个数 该队列仅用于被外部系统直接读取时使用。 - 60s SYS.CLOUDTABLE starrocks_be_result_buffer_block_count 当前查询结果缓存中的query个数 该数值反映当前BE中有多少查询的结果正在等待FE消费。 - 60s SYS.CLOUDTABLE starrocks_be_routine_load_task_count 当前正在执行的routine load task个数 - - 60s SYS.CLOUDTABLE starrocks_be_rowset_count_generated_and_in_use 自上次启动后,新增的并且正在使用的rowset id个数 - - 60s SYS.CLOUDTABLE starrocks_be_small_file_cache_count 当前BE缓存的小文件数量 - - 60s SYS.CLOUDTABLE starrocks_be_stream_load_load_rows stream load最终导入的行数 包括stream load和routine load任务。 - 60s SYS.CLOUDTABLE starrocks_be_stream_load_pipe_count 当前stream load数据管道的个数 包括stream load和routine load任务。 - 60s SYS.CLOUDTABLE starrocks_be_stream_load_receive_bytes stream load接收的字节数 包括stream load从http接收的数据,以及routine load从kafka读取的数据。 Byte、KiB、MiB、GiB、TiB、PiB 60s SYS.CLOUDTABLE starrocks_be_streaming_load_current_processing 当前正在运行的stream load任务数 仅包含curl命令发送的任务。 - 60s SYS.CLOUDTABLE starrocks_be_streaming_load_duration_ms 所有stream load任务执行时间的耗时 累计值。 ms 60s SYS.CLOUDTABLE starrocks_be_streaming_load_requests_total stream load任务数 累计值,通过斜率可观测任务提交频率。 - 60s SYS.CLOUDTABLE starrocks_be_tablet_base_max_compaction_score 当前最大的Base Compaction Score 该数值实时变化,有可能丢失峰值数据;数值越高,表示compaction堆积越严重。 - 60s SYS.CLOUDTABLE starrocks_be_tablet_cumulative_max_compaction_score 当前最大的Cumulative Compaction Score - - 60s SYS.CLOUDTABLE starrocks_be_thrift_connections_total_heartbeat 心跳服务的连接数 累计值 - 60s SYS.CLOUDTABLE starrocks_be_thrift_current_connections_heartbeat 心跳服务的当前连接数 - - 60s SYS.CLOUDTABLE starrocks_be_unused_rowsets_count 当前已废弃的rowset的个数 这些rowset正常情况下会被定期删除。 - 60s SYS.CLOUDTABLE
  • 查看StarRocks集群详情 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置以及节点配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 集群版本 集群的内核版本。 集群访问地址 集群访问的地址,用户可以单击,将访问的链接地址复制到剪切板。 计费模式 显示集群的计费模式。 按需计费。 创建时间 显示集群创建的时间。 数据库引擎 用于存储、处理和保护数据的核心服务。 是否开启Broker进程 数据导入插件,如果需要从第三方存储系统(如OBS HDFS)导入数据,可开启Broker进程。 如果在创建集群集群时开启,此处显示“是”;如果在创建集群时未开启,此处显示“否”。 集群存储模式 存算一体。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 表2 网络配置 参数 说明 区域 集群的工作区域,在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 FE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 存储规格 选StarRocks计算节点的磁盘规格、容量。 说明: 选StarRocks计算节点的磁盘规格、容量: 高IO。 通用型SSD。 超高IO。 极速SSD。 容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或者5个。 表4 BE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 存储规格 选StarRocks计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速SSD。 容量范围为400~10000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100个。 父主题: 管理StarRocks集群
  • 集群状态 表2 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
  • MySQL常用操作命令 数据库操作 查看所有数据库。 SHOW DATABASES; 创建数据库。 CREATE DATABASE db_name; 使用数据库。 USE db_name; 删除数据库。 DROP DATABASE db_name; 表操作 查看数据库中所有表。 SHOW TABLES; 创建数据表。 CREATE TABLE table_name ( column1 datatype, column2 datatype, ... ) ENGINE=OLAP DISTRIBUTED BY HASH(column1) BUCKETS 10; 创建表示例: CREATE TABLE IF NOT EXISTS table_test ( event_time DATETIME NOT NULL COMMENT "datetime of event", event_type INT NOT NULL COMMENT "type of event", user_id INT COMMENT "id of user", device_code INT COMMENT "device code", channel INT COMMENT "" ) DUPLICATE KEY(event_time, event_type) DISTRIBUTED BY HASH(user_id) PROPERTIES ( "replication_num" = "3" ); 查看表结构。 DESC table_name; 删除数据表。 DROP TABLE table_name; 修改数据表名。 ALTER TABLE old_name RENAME new_name; 数据查询。 基本查询。 SELECT * FROM table_name LIMIT 10; 条件查询。 SELECT * FROM table_name WHERE column1 = 'value'; 数据操作 插入单条数据,执行INSERT INTO命令往指定表插入数据,需要指定表名、列、插入的具体值。 INSERT INTO table_name VALUES (value1, value2, ...); INSERT INTO:关键字,表示要执行插入操作。 table_name:要插入数据的目标表名。 VALUES:关键字,后面跟着要插入的值列表。 (value1, value2, ...):要插入的实际值,必须与表的列顺序和数量匹配。 使用示例: INSERT INTO employees (id, name, department, salary) VALUES (2, '李四', '市场部', 7800.00); 批量插入数据,执行INSERT INTO命令往指定表插入数据,需要指定表名、列、插入的具体值。 INSERT INTO table_name VALUES (value1, value2, ...), (value1, value2, ...), ...; 更新数据。 UPDATE table_name SET column1 = value1 WHERE condition; 删除数据。 DELETE FROM table_name WHERE condition; 实用命令 查看建表语句。 SHOW CREATE TABLE table_name; 查看表大小。 SHOW DATA FROM table_name; 查看表的统计信息。 SHOW TABLE STATUS LIKE 'table_name';
  • 创建StarRocks集群 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。 有关区域的详细信息,请参见地区和终端节点。 可用区域 选择集群工作区域下关联的可用区。目前支持的可用区请参见区域和可用区。 计费模式 计费模式支持按需付费。 表2 集群和网络配置 参数 参数说明 名称 集群的名称。 集群名称在4位到32位之间,必须以字母开头,可以包含字母、数字或者中划线,不能包含其他的特殊字符,不区分大小写。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制,加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则,这些规则可以限定弹性云服务器的哪些端口或者协议可以访问,这些访问规则可以作用在进出虚拟机的网络访问上。当弹性云服务器加入该安全组后,即受到这些访问规则的保护。不属于该安全组的弹性云服务器,是无法同安全组内的弹性云服务器通信的。 您可以选择使用已有的安全组,或者单击“查看安全组”创建新的安全组。 关于安全组的更多信息,请参见《虚拟私有云用户指南》中的安全组。 数据引擎 选择需要创建的数据组件类型。 StarRocks内核版本 组件引擎版本。 表3 FE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U16G 16U32G 32U64G 64U128G 4U16G 8U32G 16U64G 32U128G 64U256G 存储规格 选StarRocks计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或5个。 表4 BE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U16G 16U32G 32U64G 64U128G 4U16G 8U32G 16U64G 32U128G 64U256G 存储规格 选StarRocks计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为400~10000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 表5 用户名密码参数 参数 参数说明 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 用户名 管理用户,用于连接集群,默认为admin,不可修改。 密码 设置admin用户密码。 密码复杂度要求如下: 8~12个字符。 至少包含以下字符中的4种:大写字母,小写字母、数字、特殊字符($@!%*?&)。 不能与用户名或倒序用户名相同。 强弱密码检查。 说明: 请妥善保管并定期更新密码,避免安全风险。 确认密码 再次输入admin用户密码。 是否开启Broker进程 是否打开Broker进程,用于给客户做数据导入场景, 仅支持创建时开启。 配置好参数,单击“立即购买”。 进“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务。 单击“返回集群管理列表”,可以查看到集群创建的状态。 集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。
  • StarRocks使用流程 图1 StarRocks使用流程 表1 StarRocks使用流程 流程 子任务 说明 详细指导 准备工作 创建用户并授权使用CloudTable 使用CloudTable StarRocks之前,您需要注册华为云账号并进行实名认证,给新账号授权。 将策略授予用户组,并将用户添加至用户组中从而使用户拥有对应的服务权限。 创建用户并授权使用CloudTable 创建集群 创建StarRocks集群 使用StarRocks执行任务前,需要创建一个StarRocks集群。 创建StarRocks集群 下载客户端 下载StarRocks客户端 创建集群后,需要下载客户端并安装客户端,安装客户端后,用户才可以借助SSH工具连接集群。 - 准备弹性云服务 - 如果客户端工具的运行环境为Linux环境,您需要准备一台和StarRocks集群在相同虚拟私有云的Linux弹性云服务器作为客户端主机。 如果客户端工具的运行环境为Windows环境,您需要准备一台和StarRocks集群在相同虚拟私有云的Windows弹性云服务器作为客户端主机。 使用MySQL客户端连接StarRocks集群 安装客户端 - 将下载的客户端放入E CS ,解压安装客户端。 使用MySQL客户端连接StarRocks集群 连接集群 - 在ECS安装好MySQL客户端后,可用命令连接集群并进行业务操作。 使用MySQL客户端连接StarRocks集群
  • 配置冷热分离自定义策略 使用SSH工具访问ClickHouse集群。参考使用MySQL客户端连接ClickHouse集群。 创建数据库并使用数据库。 CREATE DATABASE demo; USE demo; 创建冷热分离数据表,并设置冷热分离策略。 ClickHouse集群为单副本创建冷热分离表命令。 CREATE TABLE hot_cold_table ( `f1` Int64, `date` DateTime ) ENGINE = MergeTree() PARTITION BY date ORDER BY date TTL date + INTERVAL 90 DAY TO DISK 'cold_disk' SETTINGS storage_policy = 'hot_to_cold'; 参数说明: storage_policy:指定存储策略,值指定为hot_to_cold。存储策略一旦指定,后期无法更改。 TTL表达式只是一个简单的SQL表达式,里面包含时间以及时间间隔。表示超过90天转存OBS。 TTL date + INTERVAL 90 DAY TO DISK 'cold_disk' INTERVAL支持的操作:second,minute,hour,day,week,month,quarter,year。 导入数据测试验证。 insert into hot_cold_table values('10086','2025-04-15'); -- hot data insert into hot_cold_table values('10086','2023-12-26'); -- cold data insert into hot_cold_table values('10086','2024-12-24'); -- cold data insert into hot_cold_table values('10086','2025-03-24'); -- hot data insert into hot_cold_table values('10086','2018-10-01'); -- cold data 查询表数据。 cloudtable-e474-jxf-server-1-1 :) select * from hot_cold_table FORMAT CSV; SELECT * FROM hot_cold_table FORMAT CSV Query id: b9bc7bdd-8c34-4eec-bb35-e383de1e5b0d 10086,"2025-03-24 00:00:00" 10086,"2025-04-15 00:00:00" 10086,"2018-10-01 00:00:00" 10086,"2023-12-26 00:00:00" 10086,"2024-12-24 00:00:00" 5 rows in set. Elapsed: 0.107 sec. 查看冷热数据存储路径。以当前系统时间计算,并根据TTL策略规定超过90天数据存储在冷盘中。 select name, partition, active, path from system.parts where database = 'demo' and table= 'hot_cold_table' and active = 1; 图2 冷热数据存储查询结果
  • 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多,如果我们将所有数据存储在本地,将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储,将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力,冷数据降低存储成本。我们还可以根据实际业务需求进行灵活的配置和调整,以满足不同场景的要求。冷热数据主要从数据访问频率、更新频率进行划分。 Hot(热数据):访问、更新频率较高,未来被调用的概率较高的数据,对访问的响应时间要求很高的数据。 Cold(冷数据):不允许更新或更新频率比较低,访问频率比较低,对访问的响应时间要求不高的数据。 用户可以定义冷热管理表,将符合规则的冷数据切换至OBS上进行存储,可以按照分区自动进行冷热数据的判断和迁移。
  • 原理介绍 OBS对象存储是支持海量数据存储,并提供安全可靠的、低成本的分布式存储服务,ClickHouse基于OBS的优势构建冷热分离存储架构。ClickHouse集群所在的SSD云盘存放最近时间生成并且频繁访问的“热数据”,OBS存放较早时间生成且访问不频繁的“冷数据”,在建表的时使用TTL实现数据根据特定时间策略进行冷热存储。 图1 冷热分离原理图 创建表:创建含有冷热分离策略的数据表,其中存储策略值必须为hot_to_cold。 写数据:新数据会按照信息导入到对应的数据表中。在ClickHouse中,每次数据写入都会生成一个新的Part,以保证冷数据的Part在不受影响的情况下写入新数据,满足冷热数据同时存储的需求。 冷热分离:数据存储在热存储上,随着容量或时间的推移往冷存储上迁移。ClickHouse的冷热分离粒度是基于Part的,当达到容量上限或冷却时间时会将当前满足条件的Part移动到OBS,之后新导入的数据生成的新Part达到容量上限或冷却时间后也会移动到OBS。 查询数据:用户在数据表上进行对应的查询,ClickHouse会根据对应表的存储策略信息查询到对应Bucket的根目录,并根据不同表下Part信息下载查询所需的数据到本地进行运算。
  • 已完成的慢SQL查询操作步骤 登录表格存储服务管理控制台。 在集群列表中找到所要查看的集群并单击“集群名称”,进入详情页。 在左侧导航树,单击“慢查询管理”,进入已完成的慢查询页面。 可通过对慢查询运行时长、时间范围、状态、用户、远程IP以及SQL语句的调整来实现数据的筛选。 表2 已完成慢sql查询参数说明 参数 参数说明 查询编号 查询每一个SQL命令的ID。 执行开始时间 SQL语句执行开始时间。 执行结束时间 SQL语句执行结束时间。 数据库 使用的数据库。 SQL语句 执行的SQL语句。 运行时长(ms) SQL执行时长。 状态 SQL运行的状态。 用户 提交SQL的用户。 远程IP 用户提交SQL使用的客户端地址。
  • 运行中的慢SQL查询操作步骤 登录表格存储服务管理控制台。 在集群列表中找到所要查看的集群并单击“集群名称”,进入详情页。 在左侧导航树,单击“慢查询管理”,进入运行中慢查询页面。 可通过对慢查询运行时长、时间范围、用户、远程IP以及SQL语句的调整来实现数据的筛选以及结束运行中的SQL的命令。 表1 运行中慢sql查询参数说明 参数 参数说明 查询编号 查询每一个SQL命令的ID。 执行开始时间 SQL语句执行开始时间。 执行结束时间 SQL语句执行结束时间。 数据库 使用的数据库。 SQL语句 执行的SQL语句。 运行时长(ms) SQL执行时长。 状态 SQL运行的状态。 用户 提交SQL的用户。 远程IP 用户提交SQL使用的客户端地址。 操作 进行停止查询等操作。
  • 角色管理命令简介 此章节主要介绍用角色管理SQL基本语法和使用说明。 创建角色,role_name:指新建角色名称。 CREATE role IF NOT EXISTS 'role_name' ON CLUSTER default_cluster; 给角色赋予权限。 授予全部创建(库、表)权限。 GRANT CREATE ON *.* TO role1 ON CLUSTER default_cluster; 授予test_db库下创建表权限。 GRANT CREATE TABLE ON test_db.* TO role1; 授予全部删除(库、表)权限。 GRANT DROP ON test_db.* TO role1; 删除角色。 DROP ROLE 'role_name' ON CLUSTER default_cluster; 查询用户的权限和角色。 查询用户权限。 show grants for all; 查询角色权限。 show grants for role1; 父主题: ClickHouse角色管理
  • 用户管理命令简介 此章节主要介绍用户管理SQL基本语法和使用说明。 创建用户。 CREATE USER name IF NOT EXISTS ON CLUSTER default_cluster IDENTIFIED WITH sha256_password BY 'password'; 指定IP。 CREATE USER name HOST IP '127.0.0.x' IDENTIFIED WITH sha256_password BY 'password'; 修改用户密码。 ALTER USER name IF EXISTSON CLUSTER default_cluster IDENTIFIED WITH sha256_password BY 'password'; 给用户分配角色。 GRANT role1, role2 TO new_user ON CLUSTER default_cluster; 撤销分配角色。 REVOKE role1 FROM user ON CLUSTER default_cluster; 删除用户。 DROP USER IF EXISTS ‘name1’ ON CLUSTER default_cluster; 父主题: ClickHouse用户管理
  • 查看权限 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧集群管理,显示当前集群列表,选择需要操作的集群,进入用户管理页面。 单击操作列“查看权限”,弹出用户权限页面。 表2 查看权限 参数 说明 用户名 新建的用户名。 全局权限 查询、插入、更改、创建、删除。 各级权限 数据库和表:创建的数据库和表。 高危权限:创建表、删除表。 普通权限:查询、插入、更改。 组件支持查看账户对数据库的操作权限。
  • 前提条件 当集群状态处于“服务中”,且没有任何任务操作(如:节点扩容、磁盘扩容等)时,可以执行变更操作。 规格变更只支持从小规格变更为大规格,如果要大规格更改为小规格,建议新建小规格集群,采用数据迁移进行切换。 一次只支持变更一种类型的节点规格(计算节点、ZooKeeper节点),且变更完成后只生效所选类型的节点规格。 规格变更过程中,整个集群不可用,变更结束前不能再次变更。 规格变更过程中系统不可用。
  • Doris冷热分离命令简介 此章节主要介绍CloudTable Doris冷热分离的使用命令。Doris集群基本命令使用请参见Doris MySQL命令简介。 创建数据迁移策略(STORAGE POLICY) CREATE STORAGE POLICY testPolicy PROPERTIES( "storage_resource" = "hot_to_cold", "cooldown_ttl" = "1d" ); 参数说明: storage_resource:指定策略使用的storage resource名称,且值指定为hot_to_cold。 cooldown_ttl:热数据持续时间。从数据分片生成时开始计算,经过指定时间后转为冷数据。支持的格式: 1d:1天、 1h:1小时、 50000:50000秒、0:0秒,表示数据立即转为冷数据。注意:cooldown_ttl的值不得低于6h。 cooldown_datetime:热数据转为冷数据时间,不能与cooldown_ttl同时存在,如:2023-06-08 00:00:00。 创建含数据迁移策略的Doris Table 创建数据库test_db。 CREATE DATABASE IF NOT EXISTS test_db; 创建test_tbl1。 CREATE TABLE IF NOT EXISTS test_db.test_tbl1 ( `timestamp` DATETIME NOT NULL COMMENT "日志时间", `type` INT NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息", `op_id` BIGINT COMMENT "负责人id", `op_time` DATETIME COMMENT "处理时间" ) DISTRIBUTED BY HASH(`type`) BUCKETS 10 PROPERTIES ( "storage_policy" = "testPolicy", "replication_num" = "3" ); storage_policy:存储策略是使用冷热分离功能的入口,用户在建表或使用Doris过程中,给表或分区关联上Storage policy,即可以使用冷热分离功能。 已存在的数据表关联迁移策略Storage policy。 创建数据表test_tbl2。 CREATE TABLE IF NOT EXISTS test_db.test_tbl2 ( `timestamp` DATETIME NOT NULL COMMENT "日志时间", `type` INT NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息", `op_id` BIGINT COMMENT "负责人id", `op_time` DATETIME COMMENT "处理时间" ) DISTRIBUTED BY HASH(`type`) BUCKETS 10 PROPERTIES ( "replication_num" = "3" ); 数据表关联/修改迁移策略Storage policy。 ALTER TABLE test_db.test_tbl2 set ("storage_policy" = "testPolicy"); 向含数据迁移策略的数据表插入数据。 insert into test_db.test_tbl1 values ('2024-03-26 10:35:00', 1, 404, 'Resource Not Found', 998756, '2024-03-26 10:36:00'); 删除数据迁移策略(STORAGE POLICY)。 DROP STORAGE POLICY testPolicy; 删除数据迁移策略前,请检查关联该策略的所有表是否都已经删除,否则删除数据迁移策略会失败。 删除含数据迁移策略的数据表后,为了保证数据的安全,冷数据在obs桶最多保留时间25小时,且数据保留期间会计费。 父主题: Doris冷热分离
  • 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多,如果我们将所有数据存储在本地,将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储,将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力,冷数据降低存储成本。我们还可以根据实际业务需求进行灵活的配置和调整,以满足不同场景的要求。冷热分离一般适用于以下需求场景: 数据存储周期长:面对历史数据的不断增加,存储成本也随之增加。 冷热数据访问频率及性能要求不同:热数据访问频率高且需要快速响应,而冷数据访问频率低且响应速度要求不高。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全