Operator-华为云

云数据库 GAUSSDB-GLOBAL_OPERATOR_HISTORY

GLOBAL_OPERATOR_HISTORY GLOBAL_OPERATOR_HISTORY系统视图显示的是当前用户在数据库主节点上执行作业结束后的算子的相关记录。表1 GLOBAL_OPERATOR_HISTORY的字段名称类型描述 queryid bigint 语句执行使用的内部query_id。 pid bigint 后端线程id。 plan_node_id integer 查询对应的执行计划的plan node id。 plan_node_name text 对应于plan_node_id的算子的名称。 start_time timestamp with time zone 该算子处理第一条数据的开始时间。 duration bigint 该算子到结束时候总的执行时间（ms）。 query_dop integer 当前算子执行时的并行度。 estimated_rows bigint 优化器估算的行数信息。 tuple_processed bigint 当前算子返回的元素个数。 min_peak_memory integer 当前算子在数据库节点上的最小内存峰值（MB）。 max_peak_memory integer 当前算子在数据库节点上的最大内存峰值（MB）。 average_peak_memory integer 当前算子在数据库节点上的平均内存峰值（MB）。 memory_skew_percent integer 当前算子在数据库节点间的内存使用倾斜率。 min_spill_size integer 若发生下盘，数据库节点上下盘的最小数据量（MB），默认为0。 max_spill_size integer 若发生下盘，数据库节点上下盘的最大数据量（MB），默认为0。 average_spill_size integer 若发生下盘，数据库节点上下盘的平均数据量（MB)，默认为0。 spill_skew_percent integer 若发生下盘，数据库节点间下盘倾斜率。 min_cpu_time bigint 该算子在数据库节点上的最小执行时间（ms）。 max_cpu_time bigint 该算子在数据库节点上的最大执行时间（ms）。 total_cpu_time bigint 该算子在数据库节点上的总执行时间（ms）。 cpu_skew_percent integer 数据库节点间执行时间的倾斜率。 warning text 主要显示如下几类告警信息： Sort/SetOp/HashAgg/HashJoin spill Spill file size large than 256MB Broadcast size large than 100MB Early spill Spill times is greater than 3 Spill on memory adaptive Hash table conflict 父主题： Operator

云数据库 GAUSSDB Operator

云数据库 GAUSSDB-OPERATOR_RUNTIME

OPERATOR_RUNTIME OPERATOR_RUNTIME视图显示当前用户正在执行的作业的算子相关信息。表1 OPERATOR_RUNTIME的字段名称类型描述 queryid bigint 语句执行使用的内部query_id。 pid bigint 后端线程id。 plan_node_id integer 查询对应的执行计划的plan node id。 plan_node_name text 对应于plan_node_id的算子的名称。 start_time timestamp with time zone 该算子处理第一条数据的开始时间。 duration bigint 该算子到结束时候总的执行时间（ms）。 status text 当前算子的执行状态，包括finished和running。 query_dop integer 当前算子执行时的并行度。 estimated_rows bigint 优化器估算的行数信息。 tuple_processed bigint 当前算子返回的元素个数。 min_peak_memory integer 当前算子在数据库节点上的最小内存峰值（MB）。 max_peak_memory integer 当前算子在数据库节点上的最大内存峰值（MB）。 average_peak_memory integer 当前算子在数据库节点上的平均内存峰值（MB)。 memory_skew_percent integer 当前算子在数据库节点的内存使用倾斜率。 min_spill_size integer 若发生下盘，数据库节点上下盘的最小数据量（MB），默认为0。 max_spill_size integer 若发生下盘，数据库节点上下盘的最大数据量（MB），默认为0。 average_spill_size integer 若发生下盘，数据库节点上下盘的平均数据量（MB)，默认为0。 spill_skew_percent integer 若发生下盘，数据库节点间下盘倾斜率。 min_cpu_time bigint 该算子在数据库节点上的最小执行时间（ms)。 max_cpu_time bigint 该算子在数据库节点上的最大执行时间（ms)。 total_cpu_time bigint 该算子在数据库节点上的总执行时间（ms)。 cpu_skew_percent integer 数据库节点间执行时间的倾斜率。 warning text 主要显示如下几类告警信息： Sort/SetOp/HashAgg/HashJoin spill Spill file size large than 256MB Broadcast size large than 100MB Early spill Spill times is greater than 3 Spill on memory adaptive Hash table conflict 父主题： Operator

云数据库 GAUSSDB Operator

云数据库 GAUSSDB-OPERATOR_RUNTIME

OPERATOR_RUNTIME OPERATOR_RUNTIME视图显示当前用户正在执行的作业的算子相关信息。表1 OPERATOR_RUNTIME的字段名称类型描述 queryid bigint 语句执行使用的内部query_id。 pid bigint 后端线程id。 plan_node_id integer 查询对应的执行计划的plan node id。 plan_node_name text 对应于plan_node_id的算子的名称。 start_time timestamp with time zone 该算子处理第一条数据的开始时间。 duration bigint 该算子到结束时候总的执行时间(ms)。 status text 当前算子的执行状态，包括finished和running。 query_dop integer 当前算子执行时的并行度。 estimated_rows bigint 优化器估算的行数信息。 tuple_processed bigint 当前算子返回的元素个数。 min_peak_memory integer 当前算子在所有DN上的最小内存峰值(MB)。 max_peak_memory integer 当前算子在所有DN上的最大内存峰值(MB)。 average_peak_memory integer 当前算子在所有DN上的平均内存峰值(MB)。 memory_skew_percent integer 当前算子在各DN间的内存使用倾斜率。 min_spill_size integer 若发生下盘，所有DN上下盘的最小数据量(MB)，默认为0。 max_spill_size integer 若发生下盘，所有DN上下盘的最大数据量(MB)，默认为0。 average_spill_size integer 若发生下盘，所有DN上下盘的平均数据量(MB)，默认为0。 spill_skew_percent integer 若发生下盘，DN间下盘倾斜率。 min_cpu_time bigint 该算子在所有DN上的最小执行时间(ms)。 max_cpu_time bigint 该算子在所有DN上的最大执行时间(ms)。 total_cpu_time bigint 该算子在所有DN上的总执行时间(ms)。 cpu_skew_percent integer DN间执行时间的倾斜率。 warning text 主要显示如下几类告警信息： Sort/SetOp/HashAgg/HashJoin spill Spill file size large than 256MB Broadcast size large than 100MB Early spill Spill times is greater than 3 Spill on memory adaptive Hash table conflict 父主题： Operator

云数据库 GAUSSDB Operator

云数据库 GAUSSDB-OPERATOR_HISTORY_TABLE

OPERATOR_HISTORY_TABLE OPERATOR_HISTORY_TABLE系统视图显示执行作业结束后的算子相关的记录。此数据是从内核中转储到系统视图中的数据。当设置GUC参数enable_resource_record为on时，系统会定时（周期为3分钟）将GS_WLM_OPERATOR_HISTORY中的记录导入此系统表，开启此功能会占用系统存储空间并对性能有一定影响，不建议用户使用。表1 OPERATOR_HISTORY_TABLE的字段名称类型描述 queryid bigint 语句执行使用的内部query_id。 pid bigint 后端线程id。 plan_node_id integer 查询对应的执行计划的plan node id。 plan_node_name text 对应于plan_node_id的算子的名称。 start_time timestamp with time zone 该算子处理第一条数据的开始时间。 duration bigint 该算子到结束时候总的执行时间(ms)。 query_dop integer 当前算子执行时的并行度。 estimated_rows bigint 优化器估算的行数信息。 tuple_processed bigint 当前算子返回的元素个数。 min_peak_memory integer 当前算子在所有DN上的最小内存峰值(MB)。 max_peak_memory integer 当前算子在所有DN上的最大内存峰值(MB)。 average_peak_memory integer 当前算子在所有DN上的平均内存峰值(MB)。 memory_skew_percent integer 当前算子在各DN间的内存使用倾斜率。 min_spill_size integer 若发生下盘，所有DN上下盘的最小数据量(MB)，默认为0。 max_spill_size integer 若发生下盘，所有DN上下盘的最大数据量(MB)，默认为0。 average_spill_size integer 若发生下盘，所有DN上下盘的平均数据量(MB)，默认为0。 spill_skew_percent integer 若发生下盘，DN间下盘倾斜率。 min_cpu_time bigint 该算子在所有DN上的最小执行时间(ms)。 max_cpu_time bigint 该算子在所有DN上的最大执行时间(ms)。 total_cpu_time bigint 该算子在所有DN上的总执行时间(ms)。 cpu_skew_percent integer DN间执行时间的倾斜率。 warning text 主要显示如下几类告警信息： Sort/SetOp/HashAgg/HashJoin spill Spill file size large than 256MB Broadcast size large than 100MB Early spill Spill times is greater than 3 Spill on memory adaptive Hash table conflict 父主题： Operator

云数据库 GAUSSDB Operator

云数据库 GAUSSDB-OPERATOR_HISTORY

OPERATOR_HISTORY OPERATOR_HISTORY视图显示的是当前用户当前CN上执行作业结束后的算子的相关记录。内核中的数据会定时被清理，清理周期为3分钟。当GUC参数enable_resource_record为on时，视图中的记录每隔3分钟被转储到系统表GS_WLM_OPERATOR_INFO中一次，同时视图中的记录被删除；当GUC参数enable_resource_record为off时，记录在视图中的存留时间达到超期时间（超期时间为3分钟）后会被删除。记录的数据同GS_WLM_OPERATOR_INFO的字段。父主题： Operator

云数据库 GAUSSDB Operator

云数据库 GAUSSDB-GLOBAL_OPERATOR_RUNTIME

GLOBAL_OPERATOR_RUNTIME GLOBAL_OPERATOR_RUNTIME视图显示当前用户在数据库主节点上正在执行的作业的算子相关信息。表1 GLOBAL_OPERATOR_RUNTIME的字段名称类型描述 queryid bigint 语句执行使用的内部query_id。 pid bigint 后端线程id。 plan_node_id integer 查询对应的执行计划的plan node id。 plan_node_name text 对应于plan_node_id的算子的名称。 start_time timestamp with time zone 该算子处理第一条数据的开始时间。 duration bigint 该算子到结束时候总的执行时间（ms）。 status text 当前算子的执行状态，包括finished和running。 query_dop integer 当前算子执行时的并行度。 estimated_rows bigint 优化器估算的行数信息。 tuple_processed bigint 当前算子返回的元素个数。 min_peak_memory integer 当前算子在数据库节点上的最小内存峰值（MB）。 max_peak_memory integer 当前算子在数据库节点上的最大内存峰值（MB）。 average_peak_memory integer 当前算子在数据库节点上的平均内存峰值（MB）。 memory_skew_percent integer 当前算子在数据库节点的内存使用倾斜率。 min_spill_size integer 若发生下盘，数据库节点上下盘的最小数据量（MB），默认为0。 max_spill_size integer 若发生下盘，数据库节点上下盘的最大数据量（MB），默认为0。 average_spill_size integer 若发生下盘，数据库节点上下盘的平均数据量（MB)，默认为0。 spill_skew_percent integer 若发生下盘，数据库节点间下盘倾斜率。 min_cpu_time bigint 该算子在数据库节点上的最小执行时间（ms）。 max_cpu_time bigint 该算子在数据库节点上的最大执行时间（ms）。 total_cpu_time bigint 该算子在数据库节点上的总执行时间（ms）。 cpu_skew_percent integer 数据库节点间执行时间的倾斜率。 warning text 主要显示如下几类告警信息： Sort/SetOp/HashAgg/HashJoin spill Spill file size large than 256MB Broadcast size large than 100MB Early spill Spill times is greater than 3 Spill on memory adaptive Hash table conflict 父主题： Operator

云数据库 GAUSSDB Operator

云数据库 GAUSSDB-GLOBAL_OPERATOR_HISTORY_TABLE

GLOBAL_OPERATOR_HISTORY_TABLE GLOBAL_OPERATOR_HISTORY_TABLE视图显示所有CN节点执行作业结束后的算子相关的记录。此数据是从内核中转储到系统表GS_WLM_OPERATOR_INFO中的数据。当设置GUC参数enable_resource_record为on时，系统会定时（周期为3分钟）将GS_WLM_OPERATOR_HISTORY中的记录导入系统表GS_WLM_OPERATOR_INFO。该视图是查询所有CN节点系统表GS_WLM_OPERATOR_INFO的汇聚视图。表字段同表1。父主题： Operator

云数据库 GAUSSDB Operator

云数据库 GaussDB-GLOBAL_OPERATOR_RUNTIME

GLOBAL_OPERATOR_RUNTIME GLOBAL_OPERATOR_RUNTIME视图显示当前用户在数据库主节点上正在执行的作业的算子相关信息，如表1所示。表1 GLOBAL_OPERATOR_RUNTIME的字段名称类型描述 queryid bigint 语句执行使用的内部query_id。 pid bigint 后端线程id。 plan_node_id integer 查询对应的执行计划的plan node id。 plan_node_name text 对应于plan_node_id的算子的名称。 start_time timestamp with time zone 该算子处理第一条数据的开始时间。 duration bigint 该算子到结束时候总的执行时间（ms）。 status text 当前算子的执行状态，包括finished和running。 query_dop integer 当前算子执行时的并行度。 estimated_rows bigint 优化器估算的行数信息。 tuple_processed bigint 当前算子返回的元素个数。 min_peak_memory integer 当前算子在数据库节点上的最小内存峰值（MB）。 max_peak_memory integer 当前算子在数据库节点上的最大内存峰值（MB）。 average_peak_memory integer 当前算子在数据库节点上的平均内存峰值（MB）。 memory_skew_percent integer 当前算子在数据库节点的内存使用倾斜率。 min_spill_size integer 若发生下盘，数据库节点上下盘的最小数据量（MB），默认为0。 max_spill_size integer 若发生下盘，数据库节点上下盘的最大数据量（MB），默认为0。 average_spill_size integer 若发生下盘，数据库节点上下盘的平均数据量（MB)，默认为0。 spill_skew_percent integer 若发生下盘，数据库节点间下盘倾斜率。 min_cpu_time bigint 该算子在数据库节点上的最小执行时间（ms）。 max_cpu_time bigint 该算子在数据库节点上的最大执行时间（ms）。 total_cpu_time bigint 该算子在数据库节点上的总执行时间（ms）。 cpu_skew_percent integer 数据库节点间执行时间的倾斜率。 warning text 主要显示如下几类告警信息： Sort/SetOp/HashAgg/HashJoin spill Spill file size large than 256MB Broadcast size large than 100MB Early spill Spill times is greater than 3 Spill on memory adaptive Hash table conflict 父主题： Operator

云数据库 GaussDB Operator

云原生服务中心 OSC-开发Operator:开发原理

开发原理在本章节以Kafka为例，构建Kafka-Operator进行Kafka实例的管理，同时Kafka实例将以三节点集群的形式对外提供服务。对于Kafka实例/集群而言，需要依托于zookeeper进行构建，zookeeper用作Kafka集群的元数据管理，每个Kafka实例在各节点上会有一个zookeeper实例与其对应，存储broker内的消息、topic等数据。对于整体架构而言，先启动一个zookeeper三节点集群作为kafka启动的基础条件，然后启动Kafka三个节点实例（即broker实例）进行服务的提供，同时启动一个KafkaManager用作可视化管理。整体结构如下：

云原生服务中心 OSC 如何从零开始开发Operator

云原生服务中心 OSC-创建存储

创建存储通过在集群中创建PVC的方式创建存储，典型的创建方式如下： EVS云硬盘 apiVersion: v1kind: PersistentVolumeClaimmetadata: name: pvc-evs-auto-example namespace: default annotations: everest.io/disk-volume-type: SATA labels: failure-domain.beta.kubernetes.io/region: cn-north-4 failure-domain.beta.kubernetes.io/zone: cn-north-4aspec: accessModes: - ReadWriteOnce resources: requests: storage: 10Gi storageClassName: csi-disk storageClassName：存储卷动态供应关联的k8s storage class名称；v1.15集群使用的csi关联的storage class名称是csi-disk。 accessModes: 指定读写模式，v1.15集群版本只支持非共享卷，此字段设置为ReadWriteOnce。 storage：存储容量，单位为Gi。另外需要指定： everest.io/disk-volume-type：云硬盘类型，全大写；当前支持普通I/O（SATA）、高I/O（SAS）和超高I/O（SSD）。 failure-domain.beta.kubernetes.io/region：集群所在的region。Region对应的值请参见地区和终端节点。 failure-domain.beta.kubernetes.io/zone：创建云硬盘所在的可用区，必须和工作负载规划的可用区保持一致。zone对应的值请参见地区和终端节点。 SFS文件存储：适用于媒体处理、内容管理、大数据分析、分析工作负载等多读多写的场景。 apiVersion: v1kind: PersistentVolumeClaimmetadata: name: pvc-sfs-auto-example namespace: defaultspec: accessModes: - ReadWriteMany resources: requests: storage: 10Gi storageClassName: csi-nas SFS Turbo极速文件存储：按需申请，快速供给，弹性扩展，适用于DevOps、容器微服务、企业办公等场景。针对CCE敏捷版，提供local pv的方式创建本地目录存储。 apiVersion: v1kind: PersistentVolumeClaimmetadata: annotations: volume.beta.kubernetes.io/storage-provisioner: paas.hw/local-pv volume.kubernetes.io/selected-node: 192.168.8.101 # 指定节点 volume.kubernetes.io/targetPath: /opt/hhh #对应创建中间件实例时用户输入的目录，如果不存在，local-pv-immediate会自动创建目录， name: datadir-kafka-event-broker-0 namespace: kafka-alarmspec: accessModes: - ReadWriteOnce resources: requests: storage: 3Gi storageClassName: local-pv-immediate volumeMode: Filesystem 使用华为云存储，需要CCE集群中预先安装everest插件。上述资源可通过Go语言在Reconcile协调逻辑中实现，具体请参见Kubernetes API Reference。更多类型的存储可参见云容器引擎CCE：存储管理。父主题： Operator代码示例

云原生服务中心 OSC Operator代码示例

云原生服务中心 OSC-生成代码和资源描述文件

生成代码和资源描述文件修改api/v1/memcached_types.go或controller中的markers之后，需要重新生成代码和资源描述文件。 # 生成 api/v1/zz_generated.deepcopy.gomake generate# 生成 config/crd/bases 和 config/rbac/role.yamlmake manifests 该步骤将根据API定义自动生成CRD和RBAC。父主题：实现Operator

云原生服务中心 OSC 实现Operator

云原生服务中心 OSC-CRD介绍:CRD字段说明

CRD字段说明 group，一般为组织名称，如：osctest。 API版本，第一个版本一般为v1。 scope，Namespaced级别，修改为Cluster级别，则集群内仅可以创建一个同名的CR。仅Cluster级别的operator可管理同级别CRD。 API名称，假设应用名称为hwfka，则对应的多种名称格式如下： API名称：kind: Hwfka，创建API的时候使用。列表形式：listKind: HwfkaList。复数形式：plural: hwfkas。单数形式：singular: hwfka。简称：shortNames: hfk。

云原生服务中心 OSC 构建Operator

云原生服务中心 OSC-CRD介绍:构建CR

构建CR 通过CustomResource(CR)的方式创建新资源类型，在CR中为应用定义参数和状态属性。参数 size：应用实例包含的实例数量。 image：应用的容器镜像地址。 storage：应用数据存储相关配置。状态 phase：应用实例安装状态。 server：应用访问地址。以创建一个Kafka应用，指定其Pod数量为3为例，设计CR如下： apiVersion: osctest.huawei.com/v1kind: Hwfkametadata: name: hwfka-samplespec: size: 3 image: swr.cn-north-7.myhuaweicloud.com/osc/kafka:v2.7.0 storage: class: csi-disk accessModes: ReadWriteOnce size: 20Gi diskType: SSD kind为CRD中定义的names.kind。 metadata.name为CR名称，用户可自行更改。该CR包含三个属性：size、image、storage，下文在定义API时需要为其定义Marker，以便自动生成OpenAPI schema。 apiVersion由group、domain、version组成，group为osctest，domain为huawei.com，version为v1，与CRD中的定义对应，可根据需要修改。

云原生服务中心 OSC 构建Operator

云原生服务中心 OSC-接入规范说明

接入规范说明开源OLM服务（operator-framework）服务支持自定义配置服务场景、支持架构等配置，其描述说明定义在clusterserviceversion.yaml中，具体样例如下： apiVersion: operators.coreos.com/v1alpha1kind: ClusterServiceVersionmetadata: name: example-operator.v0.0.3 namespace: test annotations: scenes: U CS ,CCE source: ISV architecture: x86_64,aarch64 categories: Database devices: CPU,GPU,NPU industries: education,media spec: apiservicedefinitions: {} skips: - example-operator.v0.0.2 replaces: example-operator.v0.0.1 customresourcedefinitions: ... 参数名称参数描述参数示例必选 source 包来源，取值范围：{ISV, OpenSource, HuaweiProvided}，分别表示独立服务供应商、开源服务、华为自有服务，仅支持配置一个值。默认值为OpenSource OpenSource 否 architecture 支持架构列表，取值范围：{x86_64, aarch64}，默认值为x86_64 x86_64,aarch64 否 categories 分类列表，范围不限，如"AI, Database"，注意，当前同一个服务不同版本须配置相同内容，一旦配置后当前不支持修改 Database 否 devices 实例运行需要使用的硬件设备列表，取值范围：{CPU, GPU, NPU}，默认值为CPU CPU,GPU 否 industries 行业列表，范围不限，如"education,media" education 否 scenes 部署平台列表，取值列表：{CCE，UCS}，分别表示CCE平台和UCS平台，大小写敏感，默认值为CCE。 CCE,UCS 否父主题： Operator规范

云原生服务中心 OSC Operator规范

云服务器内容精选

Operator

7*24

备案

专业服务

退订

建议反馈

售前咨询热线