云服务器内容精选

  • 数据指标应用 创建完数据指标的相关数据后,请前往数据架构模块,进行数据集市建设,新建数据集市层并发布汇总表。汇总表能够引用指标管理里的指标,发布后进行指标结果物化。 本示例中,先创建汇总表所需的主题,汇总表依赖于主题架构,然后创建汇总表,汇总表名称为地区坪效比汇总表。 创建主题详细信息请参见数据架构的主题设计。 创建汇总表 在 DataArts Studio 控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。 在数据架构控制台,单击左侧导航树中的“维度建模”,然后选择“汇总表”页签。 在左侧主题目录中选中一个主题,然后单击“新建”按钮,开始创建汇总表。 在“新建汇总表”页面,完成相关配置。 图1 配置基本信息 图2 配置属性信息 配置完成后,单击保存并进行发布。 单击表名称,可以查看汇总表详情。 创建汇总表详细信息请参见数据架构的数据集市。 父主题: 数据指标
  • 函数说明 新建原子指标时,需要按照函数设定表达式。以聚合函数的部分函数为例,函数说明如表3所示: 表3 聚合函数说明 函数名 表达式 函数说明 avg(col) avg() 求平均值。 corr(col1, col2) corr() 返回两列数值的相关系数。 count(*) count() 返回记录条数。 covar_pop(col1, col2) covar_pop() 返回两列数值协方差。 covar_samp(col1, col2) covar_samp() 返回两列数值样本协方差。 max(col) max() 返回最大值。 min(col) min() 返回最小值。 stddev_pop(col) stddev_pop() 返回指定列的偏差。 stddev_samp(col) stddev_samp() 返回指定列的样本偏差。 sum(col) sum() 求和。 var_samp(col) var_samp() 返回指定列的样本方差。 如果想要查询更多函数的功能及说明,可以在新建原子指标页面的基本信息中的设定表达式项,单击对应函数,在页面右侧的函数说明框中会显示对应的函数说明。 图7 函数说明
  • 新建原子指标并发布 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据指标”模块,进入数据指标页面。 图1 选择数据指标 在数据指标控制台,单击左侧导航树中的“指标开发”,选择“原子指标”页签进入原子指标页面。 在左侧流程目录中选中一个流程,单击“新建”按钮,开始新建原子指标。 在新建原子指标页面,参考表1配置参数。在本示例中,需要创建经营面积和销售额两个原子指标数据。 图2 新建原子指标1(配置基本信息、配置数据对象) 图3 新建原子指标1(配置表达式) 表1 新建原子指标参数说明 参数名称 说明 基本信息 *指标名称 只能包含中文、英文字母、数字和下划线,且以中文或英文字母开头。 例如,经营面积。 *指标编码 输入指标编码。 所属流程 选择指标所属的流程。如果您还未创建流程,请参见流程设计进行创建。 关联指标定义 选择需要关联的指标定义。如果您还未创建指标定义,请参见指标定义进行创建。 数据类型 选择数据类型。 例如,双精度(DOUBLE)。 数据对象配置 *数据连接类型 选择数据连接类型。 *数据连接 选择数据连接。 *数据库 选择数据库。 Schema 选择Schema。 只有部分数据连接类型需要配置该参数。比如DWS、POSTGRESQL。 *队列 选择队列。 当数据连接类型是 DLI 时,才需要配置配置该参数。 *数据表 选择数据表。 最多可选5个数据表。如果要取消,选中下图中已关联的数据表,请先删除对应节点。 表达式配置 *设定表达式 根据实际情况选择所需要的函数和字段,并设定表达式。函数列表及函数说明请参考函数说明。 描述 描述信息。支持的长度为0~600个字符。 基本参数配置完成后,单击“发布”,在弹出框中,选择审核人,单击“确认提交”,提交审核。等待审核人员审核,审核通过后,原子指标创建完成。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 原子指标创建完成后可以查看原子指标详情。 (可选)参考步骤3~步骤5,完成其他原子指标的发布。在本示例中,原子指标除了经营面积,还需要在创建一个销售额。 图4 新建原子指标2(配置基本信息、配置数据对象) 图5 新建原子指标2(配置表达式) 原子指标创建完成后,如下图所示:
  • 业务指标监控简介 当前,数据架构有完善的指标设计和管理能力,建议您后续使用数据架构的业务指标功能,数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控,您可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调度运行业务场景。通过业务场景的运行结果,您可以判断业务指标是否满足质量规则。业务场景的运行结果说明如下: 正常:表示实例正常结束,且执行结果符合预期。 告警:表示实例正常结束,但执行结果不符合预期。 异常:表示实例未正常结束。 --:表示实例正在运行中,无执行结果。 业务指标监控主界面包括以下功能模块。 功能 说明 总览 默认首页是总览页面,显示了业务场景实例的运行状态和告警状态。 主要包括以下几部分内容: 快速入门,介绍业务指标监控的业务流。 最近7天内的业务场景实例运行分布情况、实例告警运行分布情况。 可选周期内的告警趋势图、业务场景看板图、指标看板图。 指标管理 指标管理是业务指标监控的核心功能模块,是配置指标的主要入口。 规则管理 规则管理是配置规则的主要入口,支持通过指标的逻辑表达式定义规则。 业务场景管理 业务场景可以认为是业务指标质量作业,将创建的规则组进行调度运行。 运维管理 运维管理用于查看业务场景运行状态,处理运维问题。其中我的订阅中显示了所有订阅的任务运行情况。 父主题: 业务指标监控(待下线)
  • 删除业务指标 如果您已不再需要某个业务指标,可以删除该业务指标。如果待删除的业务指标已发布,则无法执行删除操作,您必须先将该业务指标下线后,才能执行删除操作。 在数据架构控制台,单击左侧导航树中的“业务指标”,进入业务指标页面。 在维度列表中找到需要删除的业务指标度,勾选该业务指标,然后单击业务指标列表上方“更多”中的“删除”。 图7 删除业务指标 在系统弹出的“删除”对话框中,确认无误后,单击“是”将业务指标删除。
  • 编辑复合指标 在数据架构控制台,单击左侧导航树的“技术指标”,然后选择“复合指标”页签,进入复合指标页面。 图2 复合指标 在复合指标列表中,找到需要编辑的复合指标,单击“编辑”,进入“编辑复合指标”页面。 根据实际需要修改配置参数。参数说明请参见表1。 在页面下方,单击“试运行”按钮,然后在弹出框中单击“试运行”按钮,测试所设置的复合指标是否可以正常运行。 如果试运行失败,请根据错误提示定位错误原因,将配置修改正确后,再单击“试运行”按钮进行重试。 如果试运行成功,单击“发布”,提交发布审核。 在弹出框中单击“确认提交”,提交审核。
  • 功能说明 云监控服务 (Cloud Eye)可以监控和查看云服务的运行状态、各个指标的使用情况,并对监控项创建告警规则。 当您创建了 CDM 集群后, 云监控 服务会自动关联CDM的监控指标,帮助您实时掌握CDM集群的各项性能指标,精确掌握CDM集群的运行情况。 本章节描述了CDM上报云监控的监控指标的命名空间、监控指标列表和维度定义。 如果您需要查看CDM相关的监控指标,请参见查看CDM监控指标。 如果您需要在监控数据满足指定条件时发送报警通知,可参见设置CDM告警规则。
  • 监控指标 表1 监控指标说明 指标ID 指标名称 含义 取值范围 测量对象&维度 监控周期(原始指标) requests 接口调用次数 统计测量api接口被调用的次数。 ≥0 测量对象:专享版API网关实例 测量维度:instance_id 1分钟 error_4xx 4xx异常次数 统计测量api接口返回4xx错误的次数。 ≥0 测量对象:专享版API网关实例 测量维度:instance_id 1分钟 error_5xx 5xx异常次数 统计测量api接口返回5xx错误的次数 ≥0 测量对象:专享版API网关实例 测量维度:instance_id 1分钟 throttled_calls 被流控的调用次数 统计测量api被流控的调用次数 ≥0 测量对象:专享版API网关实例 测量维度:instance_id 1分钟 avg_latency 平均延迟毫秒数 统计测量api接口平均响应延时时间 ≥0 单位:毫秒 测量对象:专享版API网关实例 测量维度:instance_id 1分钟 max_latency 最大延迟毫秒数 统计测量api接口最大响应延时时间 ≥0 单位:毫秒 测量对象:专享版API网关实例 测量维度:instance_id 1分钟 req_count 接口调用次数 该指标用于统计测量api接口调用次数 ≥0 测量对象:单个API 测量维度:api_id 1分钟 req_count_2xx 2xx调用次数 该指标用于统计测量api接口调用2xx的次数 ≥0 测量对象:单个API 测量维度:api_id 1分钟 req_count_4xx 4xx异常次数 该指标用于统计测量api接口返回4xx错误的次数 ≥0 测量对象:单个API 测量维度:api_id 1分钟 req_count_5xx 5xx异常次数 该指标用于统计测量api接口返回5xx错误的次数 ≥0 测量对象:单个API 测量维度:api_id 1分钟 req_count_error 异常次数 该指标用于统计测量api接口总的错误次数 ≥0 测量对象:单个API 测量维度:api_id 1分钟 avg_latency 平均延迟毫秒数 该指标用于统计测量api接口平均响应延时时间 ≥0 单位:毫秒 测量对象:单个API 测量维度:api_id 1分钟 max_latency 最大延迟毫秒数 该指标用于统计测量api接口最大响应延时时间 ≥0 单位:毫秒 测量对象:单个API 测量维度:api_id 1分钟 input_throughput 流入流量 该指标用于统计测量api接口请求流量 ≥0 单位:Byte/KB/MB/GB 测量对象:单个API 测量维度:api_id 1分钟 output_throughput 流出流量 该指标用于统计测量api接口返回流量 ≥0 单位:Byte/KB/MB/GB 测量对象:单个API 测量维度:api_id 1分钟 node_system_load 网关节点系统负载 该指标用于统计当前数据面网关节点负载详情,1表示低水位,2表示中水位,3表示高水位 1,2,3,单位:count 测量对象:单个网关节点 测量维度:node_ip 1分钟 node_cpu_usage 网关节点cpu使用率 该指标用于统计当前数据面网关节点cpu使用率 ≥0 单位:% 测量对象:单个网关节点 测量维度:node_ip 1分钟 node_memory_usage 网关节点内存使用率 该指标用于统计当前数据面网关节点内存使用率 ≥0 单位:% 测量对象:单个网关节点 测量维度:node_ip 1分钟
  • net 插件类型 OS 功能说明 采集网络IO信息,默认采集的目标网卡与本机ifconfig命令显示的网卡列表一致,仅采集ifconfig显示UP状态的网卡。 原始数据来源:/proc/net/dev 参数配置 通过_filter_nic_name配置,根据nic_name指标,对消息进行筛选,决定最终生成的哪些网卡的消息。 _filter_nic_name的配置比较特殊,只有当nic_name值以配置关键字串开头时,才会保留这条消息,而其他插件的消息筛选机制为包含即保留。如某台机器ifconfig列出的网卡名有eth0、eth1、veth1、lo。如果配置“_filter_nic_name:eth”,则剔除veth1和lo的消息,保留eth0、eth1的消息。 消息样例及含义说明 { "plugin_id": "net", "metric": { "node": "host-10-33-0-188", #单位: | 类型:string | 说明:主机名,消息来源标识 "timestamp": 1482161028000, #单位: | 类型:long long | 说明:UTC时间戳 "collps": "0.0000", #单位:次/s | 类型:double | 说明:检测到发送冲突频率 "nic_name": "enp2s0f0", #单位: | 类型:string | 说明:网卡名,与ifconfig列表一致 "rxcmpps": "0.0000", #单位:包/s | 类型:double | 说明:接收压缩包速率 "rxdropps": "0.0000", #单位:包/s | 类型:double | 说明:接收丢包率 "rxdroprate": "0.0", #单位:% | 类型:double | 说明:接收丢包率 "rxerrps": "0.0000", #单位:次/s | 类型:double | 说明:接收错误频率 "rxfifops": "0.0000", #单位:次/s | 类型:double | 说明:接收FIFO缓存错误频率 "rxframps": "0.0000", #单位:次/s | 类型:double | 说明:接收帧错误频率 "rxkbps": "0.0000", #单位:kB/s | 类型:double | 说明:接收的kbps数,单位为KByte/s, 转换为kbps需乘以8 "rxmcstps": "0.0000", #单位:次/s | 类型:double | 说明:接收多播频率 "rxpckps": "0.0000", #单位:包/s | 类型:double | 说明:接收报文速率 "rxutil": "0.0", #单位:% | 类型:double | 说明:接收带宽利用率 "txcarrps": "0.0000", #单位:次/s | 类型:double | 说明:传输介质故障频率 "txcmpps": "0.0000", #单位:包/s | 类型:double | 说明:发送压缩包速率 "txdropps": "0.0000", #单位:包/s | 类型:double | 说明:发送丢包速率 "txdroprate": "0.0", #单位:% | 类型:double | 说明:发送丢包率 "txerrps": "0.0000", #单位:次/s | 类型:double | 说明:发送错频率 "txfifops": "0.0000", #单位:次/s | 类型:double | 说明:发送FIFO缓存错误频率 "txkbps": "0.0000", #单位:kB/s | 类型:double | 说明:发送的kbps数,单位为KByte/s, 转换为kbps需乘以8 "txpckps": "0.0000", #单位:包/s | 类型:double | 说明:发送报文速率 "txutil": "0.0", #单位:% | 类型:double | 说明:发送带宽利用率 "running": "1" #单位:% | 类型:double | 说明:网卡运行状态监测,如果为1表示ifconfig该网卡状态RUNNING,如果为-1表示ifconfig该网卡状态非RUNNING }
  • verify_os 插件类型 OS 功能说明 检测主机名是否有变更,并将检测结果返回HCW。 插件在HCW_Agent启动时,会将主机名存入HCW_Agent/temp/hostname.cache中,插件每个采集周期,会获取当前的主机名并与HCW_Agent/temp/hostname.cache中的主机名对比,如果一致,返回0;不一致,返回1。 参数配置 不需要配置。 消息样例及含义说明 {    "plugin_id":"verify_os", #单位: | 类型:string | 说明:插件名    "metric":{ "node": " host-10-33-0-188", #单位: | 类型:string | 说明:主机名,消息来源标识 "timestamp": "1518078026000", #单位: | 类型:string | 说明:字符类型时间戳 "hostname":"1", #单位: | 类型:string | 说明:主机名对比结果,相同为0,不同为1 } }
  • osinfo 插件类型 OS 功能说明 osinfo插件采集操作系统相关信息。 使用该插件要求/etc/nsswitch.conf文件有读权限,且其中hosts的解释项不能使用dns,即cat /etc/nsswitch.conf | grep "^hosts:" | grep dns命令返回应为空。"running"/"sleeping"/"stopped"/"zombie",全部进程数total与top命令输出的结果一致;最大文件打开数max_opens、最大进程数max_procs与ulimit -u、ulimit -n命令输出一致;本机当前打开的句柄数open_files与lsof|wc –l命令输出一致。open_files的获取每180秒只采集并上报一次,对于那些没有采集open_files的周期,该指标不出现在消息中。 原始数据来源:/proc/stat 参数配置 不需配置。 消息样例及含义说明 { "plugin_id": "osinfo", "metric": { "node": " host-10-33-0-188", #单位: | 类型:string | 说明:主机名,消息来源标识 "timestamp": 1482161028000, #单位: | 类型:long | 说明:UTC时间戳 "ctx": "245480", #单位: | 类型:int | 说明:本周期上下文切换次数 "procs": "1032", #单位: | 类型:int | 说明:采集周期内新增的任务总数 "blocked": "0", #单位: | 类型:int | 说明:当前被阻塞的任务数 "running": "0", #单位: | 类型:int | 说明:当前R状态的进程数(top: running) "sleeping": "882", #单位: | 类型:int | 说明:当前D状态的进程数(top: sleeping) "stopped": "1", #单位: | 类型:int | 说明:当前T状态的进程数(top: stopped) "zombie": "1" #单位: | 类型:int | 说明:当前Z状态的进程数(top: zombie) "procs_total": "884", #单位: | 类型:int | 说明:当前总进程数(top: Tasks) "max_opens": "2059087", #单位: | 类型:int | 说明:执行ulimit -n结果 "max_procs": "1024", #单位: | 类型:int | 说明:执行ulimit -u结果 "open_files": "2059087", #单位: | 类型:int | 说明:本机当前打开的句柄数 } }
  • tcp 插件类型 APP 功能说明 检测本机或者指定主机端口是否可连通,并将结果返回HCW。 参数配置 配置样例: _filter_ip_id:xxx.0.0.1 # 检测IP,检测本机指定端口是否可达,配置值为127.0.0.1,检测指定主机端口是否可达,配置值为指定主机IP;当检测本机端口是否可达时,会检测127.0.0.1+端口和本机公网IP+端口是否可达,如果有一项可达则表明本机端口可达。 _filter_port_id:80 # 检测端口。 TCP为多实例插件,即TCP插件可以配置多组参数,但需要每组参数均不相同。 消息样例及含义说明 {    "plugin_id":"tcp", #单位: | 类型:string | 说明:插件名    "metric":[{ "node": " host-10-33-0-188", #单位: | 类型:string | 说明:主机名,消息来源标识 "timestamp": "1518078026000", #单位: | 类型:string | 说明:字符类型时间戳 "port_status":"1", #单位: | 类型:string | 说明:端口状态,端口可达值为1,不可达值为0 "ip_id":"xxx.0.0.1", #单位: | 类型:string | 说明:检测IP "port_id":"80", #单位: | 类型:string | 说明:检测端口 }] }
  • snmp 插件类型 OS 功能说明 周期采集机器上TCP及UDP连接相关数据,每次采集发送一条消息。 原始数据来自:/proc/net/snmp 参数配置 不需配置。 消息样例及含义说明 { "plugin_id": "snmp", "metric": { "node": "host-10-33-0-188", #单位: | 类型:string | 说明:主机名,消息来源标识 "timestamp": 1482161028000, #单位: | 类型:long long | 说明:UTC时间戳 "tcp_curr_estab": "19", #单位: | 类型: double | 说明:当前处于ESTABLISHED/CLOSE_WAIT状态的TCP连接数 "tcp_in_segs_ps": "327.6371", #单位:包/s| 类型:double | 说明:tcp收包速率 "tcp_out_segs_ps": "672.2037", #单位:包/s| 类型:double | 说明:tcp发包速率 "tcp_retrans_rate_ps": "15.0", #单位:% | 类型: double | 说明:tcp重传率 "udp_in_datagrams_ps": "0.0000", #单位:包/s| 类型:double | 说明:udp收包速率 "udp_out_datagrams_ps": "0.0000", #单位:包/s| 类型:double | 说明:udp发包速率 "active_conn": "0.0000", #单位:次/s| 类型:double | 说明:单位时间tcp连接主动连接发起次数 "passive_conn": "0.0000" #单位:次/s| 类型:double | 说明:单位时间tcp被动建立连接次数 } }
  • gpu 插件类型 OS 功能说明 采集GPU信息,每次采集都为每个GPU,以及总GPU维度分别生成消息,并上报给HCW。 执行nvidia-smi命令,分别获取每个GPU的GPU-Util、Bus-Id、mem_used、mem_total、mem_util信息,并整合总GPU信息上报给HCW。 参数配置 不需要配置。 消息样例及含义说明 {    "plugin_id":"gpu", #单位: | 类型:string | 说明:插件名    "metric":{ "node": "bj-xen-pdc-241-202", #单位: | 类型:string | 说明:主机名,消息来源标识 "timestamp": "1518078026000", #单位: | 类型:string | 说明:字符类型时间戳 "_id":"GPU-0", #单位: | 类型:string | 说明:GPU编号,总GPU编号为GPU-ALL "_name":"Tesla P100-PCIE", #单位: | 类型:string | 说明:GPU型号 "bus_id":"0000:04:00.0", #单位: | 类型:string | 说明:GPU的Bus-Id "util":"61", #单位: | 类型:string | 说明:GPU使用率 "mem_used":"1385", #单位: | 类型:string | 说明:GPU已使用显存 "mem_total":"16276", #单位: | 类型:string | 说明:GPU显存总量 "mem_util":"8.50" #单位: | 类型:string | 说明:GPU显存使用率     } }
  • redis 插件类型 APP 功能说明 检测redis数据库信息,并将检测结果上报至HCW。 参数配置 配置样例: _filter_port_id:6379 # redis端口 password:123456,123457 # redis密码,可配置多个密码。redis插件会先从/opt/zabbix/bin/redis_stats.sh中获取redis密码,如果获取或校验失败,会去读取配置参数中的password中的密码列表。 redis为多实例插件,即redis插件可以配置多组参数,但需要每组参数均不相同。 消息样例及含义说明 { "plugin_id": "redis", #单位: | 类型:string | 说明:插件名 "metric": [ { "node": " host-10-22-0-170", #单位: | 类型:string | 说明:主机名,消息来源标识 "timestamp": "1518078026000", #单位: | 类型:string | 说明:字符类型时间戳 "port_id": "80", #单位: | 类型:string | 说明:redis端口 "port_status": "1", #单位: | 类型:string | 说明:端口状态,端口可达值为1,不可达值为0 "cpuload": "10", #单位: | 类型:string | 说明:redis进程CPU占用率 "used_memory": "2403776 ", #单位: | 类型:string | 说明:Redis分配器分配的内存总量 "mem_fragmentation_ratio": "5.60", #单位: | 类型:string | 说明:used_memory_rss和used_memory之间的比率 "used_memory_peak": "4352360", #单位: | 类型:string | 说明:Redis内存消耗峰值 "keyspace_hits": "47343", #单位: | 类型:string | 说明:命中key的次数 "keyspace_misses": "1437", #单位: | 类型:string | 说明:未命中key的次数 "connected_clients": "1", #单位: | 类型:string | 说明:连接的客户端数量 "evicted_keys": "0", #单位: | 类型:string | 说明:运行以来删除过的key的数量 "blocked_clients": "0", #单位: | 类型:string | 说明:正在等待阻塞命令(BLPOP、BRPOP、BRPOPLPUSH)的客户端的数量 "rejected_connections": "0", #单位: | 类型:string | 说明:因为最大客户端数量限制而被拒绝的连接请求数量 "used_memory_rss": "13471744", #单位: | 类型:string | 说明:Redis分配的内存总量(包括内存碎片) "loading": "0", #单位: | 类型:string | 说明:是否正在载入持久化文件,0为否,1为是 "rdb_bgsave_in_progress": "0", #单位: | 类型:string | 说明:后台进行中的 save 操作的数量 "rdb_last_bgsave_status": "1", #单位: | 类型:string | 说明:最后一次创建RDB文件的结果,0为失败,1为成功 "rdb_last_bgsave_time_sec": "1", #单位: | 类型:string | 说明:最后一次创建RDB文件耗费的秒数 "instantaneous_ops_per_sec": "0", #单位: | 类型:string | 说明:服务器每秒钟执行的命令数量 "expired_keys": "1281", #单位: | 类型:string | 说明:过期而被自动删除的数据库键数量 "latest_fork_usec": "0", #单位: | 类型:string | 说明:最近一次fork()操作耗费的时间 "client_biggest_input_buf": "0", #单位: | 类型:string | 说明:当前连接的客户端中,最大的输入缓存 "client_longest_output_list": "0", #单位: | 类型:string | 说明:当前的客户端连接中,最长的输出列表 "keyspace_hits_ratio": "80" #单位: | 类型:string | 说明:keyspace_hits与keyspace_hits + keyspace_misses的比率 } ] }