华为云用户手册

日志数据类图表 指标类图表支持的图表类型：折线图、数字图、表格、柱状图、数字折线图、饼图、地图。 折线图：属于趋势类分析图表，一般用于表示一组数据在一个有序数据类别（多为连续时间间隔）上的变化情况，用于直观分析数据变化趋势。当需要监控一段时间内一个或多个资源的日志数据趋势时，请使用此类型图表。 如下图所示，在同一个图表中展示了CPU的使用率数据。 图7 折线图 表7 折线图图表配置说明 参数类别 参数名称 说明 标准配置 格式化 在下拉框选择K,Mil,Bil、1000000或Byte,KB,MB等格式，将Y轴按照指定格式进行显示。 单位 自定义配置Y轴的单位。 小数位数 开启后显示数字小数点后的位数。 小数点位数 设置显示数值小数点位数。 查询分析设置 X轴数据 支持数字或字符串数据。 Y轴数据 支持数字或字符串数据，可以选择多个数据。 维度列 请从下拉列表中选择，一般为有序数据类别。 趋势对比 当X轴为时间数据时，且不设置维度列时，可开启该按钮。 开启后，设置比较对象时间，时间小于等于24小时。设置完成后，将当前时间的数据与对象时间数据进行比较。 图例配置 隐藏图例 开启后，可以隐藏图例和对比值的显示。 图例位置 选择图表顶部或图表右边。 对比数值 选择显示最大值、最小值、平均值、求和值等，可勾选多个。 图形配置 连接方式 设置线图显示格式，可选择直线或曲线。 线宽 折线的线宽。 是否显示点 开启该功能后，显示折线的连接点。 上边距 坐标轴距离图表上边界距离。 下边距 坐标轴距离图表下边界距离。 左边距 坐标轴距离图表左边界距离。 右边距 坐标轴距离图表右边界距离。 Tooltip配置 排序方式 提示框配置，当Y轴数据选择多个时，可对其进行排序显示。 X轴 显示X轴 开启后，显示X轴数据。 X轴名称 设置X轴名称。 Y轴 显示Y轴 开启后，显示Y轴数据。 Y轴名称 设置Y轴名称。 Y轴位置 设置Y轴位置，左边或者右边。 数字图：用于突出显示单个数值。当需要实时监控某个指标的最新数值时，可使用此类型的图表。 图8 数字图 表8 数字图图表配置说明 类别 参数名称 说明 查询分析设置 数值列 支持数字或字符串数据。 同比数据 选择待对比的字段，在图表中显示该字段对应的值。 主体配置 格式化 将数据按照指定格式进行显示。 数值字号 显示值的字号，取值范围为12px~80px。 数值单位 显示值的单位 单位字号 显示值单位的字号，取值范围为12px~50px。 小数位数 开启后显示数字小数点后的位数。 小数点位数 设置显示数值小数点位数。 添加对比值 开启后，显示待对比字段对应的值。 对比值格式化 将待对比数据按照指定格式进行显示。 对比值字号 待对比值的字号，取值范围为12px~50px。 对比值单位 待对比值的单位。 对比值单位字号 显示待对比值单位的字号，取值范围为12px~50px。 描述 对显示的数值及对比值趋势的描述，显示在数值下方。 背景配置 背景色 图表的背景颜色，支持深色或浅色。 表格：能够系统、简洁、集中和对比性较强地表述内容,直观地表达分类的关系或对比量的准确程度,进而更加准确的展示该分类数据。 图9 表格 表9 表格图标配置说明 类别 参数名 说明 标准配置 格式化 将表格数据按照指定格式进行显示。 单位 自定义配置表格数据的单位。 小数位数 开启后显示数字小数点后的位数。 小数点位数 设置显示数值小数点位数。 查询分析设置 隐藏字段 选择目标字段，将该字段在表格中隐藏。 表格配置 每页显示 每页显示的数据条数。 显示总数 显示表格数据的总条目数。 列配置 对齐方式 表格数据的对齐方式，支持左对齐，右对齐以及居中。 开启搜索 开启后，即可对表格列数据进行搜索功能。 开启排序 开启后，即可对表格列数据进行排序功能。 字体大小 表格字体的大小，取值范围为12px~24px。 柱状图：使用垂直或水平的柱形平面显示类别之间的数值比较，用于描述分类数据，并统计每一个分类中的数量。您也可以绘制多个矩形对应同一个分类属性，分为分组和层叠两种模式，进而分析该分类数据在不同维度上的区别。 如下图所示，在同一个图表中展示了CPU内核占用率平均值数据。 图10 柱状图 表10 柱状图图表配置说明 参数类别 参数名称 说明 标准配置 格式化 将Y轴按照指定格式进行显示。 单位 自定义配置Y轴的单位。 小数位数 开启后显示数字小数点后的位数。 小数点位数 设置显示数值小数点位数。 柱配置 方向 选择基础柱状图或横向柱状图。 柱宽度 设置柱宽度。 是否显示值 开启后，显示各个条形体对应的数值。 值字体大小 设置各个条形体对应的数值字体大小 是否堆叠 开启后，将堆叠显示Y轴数据。 查询分析设置 X轴数据 支持数字或字符串数据。 Y轴数据 支持数字或字符串数据，可以选择多个数据。 图例配置 隐藏图例 开启后，可以隐藏图例和对比值的显示。 图例位置 图例在图表中的位置，选择图表顶部或图表右边。 对比数值 选择显示最大值、最小值、平均值、求和值等，可勾选多个。 图形配置 上边距 坐标轴距离图表上边界距离。 下边距 坐标轴距离图表下边界距离。 左边距 坐标轴距离图表左边界距离。 右边距 坐标轴距离图表右边界距离。 Tooltip配置 不排序、升序、降序 提示框配置，当Y轴数据选择多个时，可对其进行排序显示。 X轴 显示X轴 开启后，显示X轴数据。 X轴名称 设置X轴名称。 Y轴 显示Y轴 开启后，显示Y轴数据。 Y轴名称 设置Y轴名称。 Y轴位置 设置Y轴位置，左边或者右边。 数字折线图：属于趋势类分析图表，一般用于表示一组数据在一个有序数据类别（多为连续时间间隔）上的变化情况，并直观的展示相关数据分析。当需要监控一段时间内一个或多个资源的日志数据趋势时，请使用此类型图表。 如下图所示，在同一个图表中展示了不同时段CPU使用率。 图11 数字折线图 表11 数字折线图图表配置说明 参数类别 参数名称 说明 查询分析设置 X轴数据 支持数字或字符串数据。 Y轴数据 支持数字或字符串数据，可以选择多个数据。 图表样式 连接方式 设置线图显示格式，可选择直线或曲线。 主体配置 数据格式 将数据按照指定格式进行显示。 数值字号 显示值的字号，取值范围为12px~80px。 数值单位 显示值的单位。 单位字号 显示值单位的字号，取值范围为12px~50px。 小数位数 开启后显示数字小数点后的位数。 小数点位数 设置显示数值小数点位数。 背景配置 背景色 图表的背景颜色，支持深色或浅色。 饼状图：用于表示不同分类的占比情况，通过弧度大小来对比各种分类。饼图通过将一个圆饼按照分类的占比划分成多个区块，整个圆饼代表数据的总量，每个区块表示该分类占总体的比例大小，所有区块的加和等于100%。 如下图所示，在同一个图表中展示了不同国家所在省份的日志用户数据。 图12 饼状图 表12 饼图图表配置说明 参数类别 参数名称 说明 标准配置 格式化 在下拉框选择K,Mil,Bil、1000000或Byte,KB,MB等格式，将Y轴按照指定格式进行显示。 单位 自定义配置单位。 小数位数 开启后显示数字小数点后的位数。 小数点位数 设置显示数值小数点位数。 饼图配置 饼图类型 包括饼图、环图和南丁格尔玫瑰图。 饼图 饼图是一种用于展示各部分组成在整体中所占百分比的图形。它通过将一个圆形划分为不同的扇区，每个扇区的面积（或弧长和圆心角）大小对应所表示的数据的比例，从而直观地展示出各部分与整体之间的关系。 环图 环图本质上是将饼图中心挖空，相比于饼图来说有如下优点： 在原有构成的基础上增加了总数显示，展示了更多的信息。 两个饼图直接进行比较是非常不直观的，两个环图间可以通过环状条长度进行简单的对比。 南丁格尔玫瑰图 南丁格尔玫瑰图本质上并不是环图，而是在极坐标系下画出来的柱状图，每一个分类数据被圆弧平分，使用圆弧的半径长短表示数据的大小，相比于饼图来说有如下优点： 饼图适用于不超过10条的分类数据，南丁格尔玫瑰图则适用于分类较多的场景（10-30条数据）。 由于半径和面积是成平方的关系，南丁格尔玫瑰图放大了各个分类数据之间值的差异，尤其适合对比大小相近的数值。 由于圆形有周期的特性，南丁格尔玫瑰图也适用于表示一个周期的时间概念，比如星期、月份。 是否显示刻度 开启后，显示饼图上的文本标签，可用于说明图形的一些数据信息，比如值，名称等。 刻度文本格式 可配置为分类、百分比、分类：百分比或分类：数值（百分比）。 标签位置 开启是否显示刻度后，可配置此参数，调整标签在图表中的位置。 查询分析设置 数据 分类数据对应的数值。 第一层数据 类目 分类数据。 展示数量 显示分类数据的个数。 排序方式 升序或降序。 其余归为其他 开启后，除了展示的数据，其余归为其他方式展示。 添加分层 单击添加分层，设置第二层数据，每层数据包括类目、展示数量、排序方式、其余归为其他。 图例配置 隐藏图例 开启后，可以隐藏图例和图例内容的显示。 图例内容 选择显示值和百分比，可勾选多个。 图例位置 图例在图表中的位置，选择图表顶部或图表右边。 图形配置 外半径 指定饼图外半径值。取值范围为40~100 。 内半径 指定饼图内半径值。取值范围为0~100。 上边距 坐标轴距离图表上边界距离。 下边距 坐标轴距离图表下边界距离。 左边距 坐标轴距离图表左边界距离。 右边距 坐标轴距离图表右边界距离。 地图：将日志数据以国、省、市级地图形式地理化呈现。使用地图可对不同国家、省、市的同一日志进行对比，如下图所示，在同一个图表中展示了不同省份的日志用户。 图13 地图 表13 地图图表配置说明 参数名称 说明 地图类型 请从下拉列表中选择，包括中国省级地图、世界地图。 省份 “地图类型”设置为“中国省级地图”，则需要设置省份信息。 国家 “地图类型”设置为“世界地图”，则需要设置国家信息。 数值列 位置信息对应的数据量。

指标数据类图表 指标类图表支持选择的图表类型有：折线图、数字图、TopN、表格、柱状图、数字折线图。 折线图：属于趋势类分析图表，一般用于表示一组数据在一个有序数据类别（多为连续时间间隔）上的变化情况，用于直观分析数据变化趋势。当需要监控一段时间内一个或多个资源的指标数据趋势时，请使用此类型图表。 使用折线图可对不同资源的同一指标进行对比，如下图所示，在同一个图表中展示了不同主机的CPU使用率。 图1 折线图 表1 折线图图表配置说明 参数类别 参数名称 说明 图形配置 连接方式 设置线图显示格式，可选择直线或曲线。 是否显示区域 开启该功能后，使用折线图监控指标时，指标数据在图表中显示背景色。 上边距 坐标轴距离图表上边界距离。 下边距 坐标轴距离图表下边界距离。 左边距 坐标轴距离图表左边界距离。 右边距 坐标轴距离图表右边界距离。 X轴 显示X轴 开启该功能后，显示X轴。 X轴名称 设置X轴的名称。 Y轴 显示Y轴 开启该功能后，显示Y轴。 Y轴名称 设置Y轴的名称。 Y轴范围 自定义设置Y轴的最小值和最大值，确定Y轴数值区间。 数字图：用于突出显示单个数值。当需要实时监控某个指标的最新数值时，可使用此类型的图表。 如下图所示，可实时查看主机的CPU使用率。 图2 数字图 表2 数字图图表配置说明 参数名称 说明 显示微缩图标 开启该功能后，将按照一定的比例将图标缩小，并增加折线图。 TopN：统计单位为集群，统计对象为集群下的资源（这里的资源指主机、组件和实例）。资源TopN图表可视化地展示了集群中资源占用最高的N个资源，其中默认展示资源Top5。 当资源数量很多时，您想快速了解资源占用最高的资源，可在仪表盘中添加TopN图表，您只需要选择资源类型和指标，例如主机的CPU使用率，那么 AOM 将自动将TopN的主机挑选出来以N个条形图的形式展示，如果不超过N个资源，则按照实际资源展示。 如下图所示，在同一个图表中展示了主机的CPU使用率Top5。 图3 TopN图 表3 TopN图表配置说明 参数类别 参数名称 说明 - 排序方式 设置数据的排序方式，默认为降序。 限制数量 设置TopN图表中显示的条形图数量，默认为5个。 展示维度 设置TopN图表中展示的指标维度。 柱宽 设置柱宽度，可选择auto、16、22、32、48、60，默认展示auto。 单位 设置展示数据的单位，默认单位为“%”。 显示X轴刻度 开启该功能后，显示X轴的刻度。 显示数值 开启该功能后，显示Y轴的数值。 显示Y轴线条 开启该功能后，显示Y轴的线条。 高级设置 左边距 坐标轴距离图标左边界距离。 右边距 坐标轴距离图标右边界距离。 上边距 坐标轴距离图标上边界距离。 下边距 坐标轴距离图标下边界距离。 表格：能够系统、简洁、集中和对比性较强地表述内容，直观地表达分类的关系或对比量的准确程度，进而更加准确的展示该分类数据。 如下表所示，在一个图表中展示了不同主机的CPU使用率。 图4 表格 表4 表格图表配置说明 参数名称 说明 字段名 展示字段参数名。 字段重命名 可重命名表头参数名称。 柱状图：使用垂直或水平的柱形平面显示类别之间的数值比较，用于描述分类数据，并统计每一个分类中的数量。您也可以绘制多个矩形对应同一个分类属性，分为分组和层叠两种模式，进而分析该分类数据在不同维度上的区别。 在同一个图表中展示了不同主机的CPU使用率。 图5 柱状图 表5 柱状图图表配置说明 参数类别 参数名称 说明 图形配置 上边距 坐标轴距离图表上边界距离。 下边距 坐标轴距离图表下边界距离。 左边距 坐标轴距离图表左边界距离。 右边距 坐标轴距离图表右边界距离。 X轴 显示X轴 开启该功能后，显示Y轴。 X轴名称 设置X轴名称。 Y轴 显示Y轴 开启该功能后，显示Y轴。 Y轴名称 设置Y轴名称。 Y轴范围 自定义设置Y轴的最小值和最大值，确定Y轴数值区间。 数字折线图：属于趋势类分析图表，一般用于表示一组数据在一个有序数据类别（多为连续时间间隔）上的变化情况，并直观的展示相关数据分析。当需要监控一段时间内一个或多个资源的指标数据趋势时，请使用此类型图表。 如下图所示，在同一个图表中展示了不同时段CPU使用率。 图6 数字折线图 表6 数字折线图图表配置说明 参数类别 参数名称 说明 图标样式 连接方式 设置线图显示格式，可选择直线或曲线。 隐藏图例 开启该功能后，隐藏折线的图例。 显示X轴 开启该功能后，显示X轴。 显示Y轴 开启该功能后，显示Y轴。 是否显示点 开启该功能后，显示折线的连接点。

操作场景 使用ElasticSearch过程中需要对ElasticSearch运行状态进行监控，例如集群及索引状态等。Prometheus监控服务提供了CCE容器场景下基于Exporter的方式来监控ElasticSearch运行状态。本文介绍如何部署ElasticSearch Exporter以及实现ElasticSearch Exporter告警接入等操作。 为了方便安装管理Exporter，推荐使用CCE进行统一管理。

采集CCE集群的业务数据 通过新增PodMonitor方式为应用配置可观测监控Prometheus版的采集规则，监控部署在CCE集群内的应用的业务数据。 如下示例中指标采集的周期是30秒，所以等待大概30秒后才能在AOM的界面上查看到上报的指标。 apiVersion: monitoring.coreos.com/v1 kind: PodMonitor metadata: name: elasticSearch-exporter namespace: default spec: namespaceSelector: # 选择监控Exporter部署所在的namespace matchNames: - default # exporter所在的命名空间 podMetricsEndpoints: - interval: 30s # 设置指标采集周期 path: /metrics # 填写Prometheus Exporter对应的Path的值，默认/metrics port: metric-port # 填写Prometheus Exporter对应YAML的ports的name selector: # 填写要监控Exporter Pod的Label标签，以定位目标Exporter matchLabels: k8s-app: elasticSearch-exporter

其他相关操作 在操作日志界面中，您可以对历史任务进行其他相关操作，具体的操作有： 表1 相关操作 操作 说明 搜索历史任务 在任务列表上方的搜索框，可以通过执行用户名称来搜索对应历史任务。 通过日期筛选历史任务 在任务列表上方，可通过日期对历史任务进行搜索查询。选择的日期有近1小时、近6小时、近1天、近3天和自定义时间。 刷新任务列表 单击任务列表右上角的按钮，可刷新列表信息。 查看任务信息 单击任务ID，可以查看该任务的具体信息，包括主机名、IP名、插件类型、任务类型、执行状态、执行失败的原因、执行事件、执行耗时和查看操作日志。 过滤任务信息 在任务列表的表头，单击各列的，可按特定类型过滤显示任务的信息。 切换任务排序 在任务列表的表头，单击各列的，可切换任务的排序，为正序排序，为倒序排序。

注意事项 按搜索分析创建告警规则功能目前在邀测中，暂不支持申请开通。 按SQL统计创建告警规则功能仅支持全部用户使用的局点有：华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、华东-上海一、华东-上海二、中国-香港、亚太-曼谷、亚太-新加坡，支持部分白名单用户使用的局点有：华北-北京一、西南-贵阳一、亚太-曼谷、华南-深圳、华北-乌兰察布一、华北-乌兰察布二零二，其他局点暂不支持该功能。

其他相关操作 对于已创建的主机组可以对其进行修改，也可以对主机组进行添加主机、移除主机或者关联接入配置等操作，具体操作如下： 表1 操作列表 操作 具体步骤 修改主机组 在主机组列表中，单击待修改的主机组所在行“操作”列的。 在弹出的修改主机组页面，修改主机组名称、自定义标识、备注等信息。 单击“确定”，完成主机组修改。 添加主机 在主机组列表，单击待修改的主机组类型为IP的主机组所在行前的。 在主机页签，单击“添加主机”。 在弹出的添加主机页面，主机列表中显示该主机组所选主机类型下所有未选主机，选择需要加入该主机组的主机。 可以通过服务器名称/ID或IP地址对列表进行过滤，也可以单击，并在弹出的搜索框中输入多个主机IP，进行批量搜索。 当列表中没有所需主机时，单击“安装Uniagent”，在弹出的页面安装指引完成Uniagent安装，具体操作可参见安装UniAgent。 单击“确定”。 说明： 自定义标识主机组下的主机不支持该操作。如需为自定义标识主机组添加主机，可参考6。 移除主机 在主机组列表，单击待修改的主机组类型为IP的主机组所在行前的。 在主机页签，单击待移除主机所在行“操作”列的“移除”。 在弹出的移除主机页面，单击“确定”，将该主机移除。 说明： 自定义标识主机组下的主机不支持该操作。 批量移除主机 在主机组列表，单击待修改的主机组所在行前的。 在主机页签，勾选待移除的主机，单击“批量移除”。 单击“确定”。 说明： 自定义标识主机组下的主机不支持该操作。 新增关联配置 在主机组列表，单击待修改的主机组所在行前的。 选择“相关日志接入规则”页签，单击“新增关联配置”。 在弹出的新增关联配置页面，勾选需要关联的接入配置。 单击“确定”，配置完成后会将所选的接入配置显示在列表中。 解除关联 在“相关日志接入规则”页签，单击待解除配置所在行“操作”列的“解除关联”。 单击“确定”，解除该主机组与该接入配置的关联。 批量解除关联 在“相关日志接入规则”页签，勾选待解除的配置，单击“批量解除关联”。 单击“确定”，解除该主机组与所勾选的接入配置的关联。 复制主机组信息 鼠标悬浮在主机组名称上，支持复制主机组ID。 删除主机组 在主机组列表，单击待删除的主机组所在行“操作”列的。 在弹出的删除主机组页面，单击“确定”，删除该主机组。 批量删除主机组 在主机组列表，勾选待删除的主机组，单击列表左上方“批量删除”。 在弹出的删除主机组页面，单击“确定”，删除所勾选的主机组。 标签管理 按照业务需求对不同的主机组添加对应的标签。 在主机组列表，单击待添加标签的主机组“操作”列的。 在弹出的编辑标签页面，分别填写标签键key和标签值value。 说明： 如需添加多个标签可重复该步骤。 如需删除标签，在主机组列表可单击“操作”列的，进入编辑标签页面，再单击待删除标签“操作”列的。 标签键长度不能超过128个字符；标签值长度不能超过255个字符。 标签键名称不可重复。

使用限制 单账号跟踪的事件可以通过 云审计 控制台查询。多账号的事件只能在账号自己的事件列表页面去查看，或者到组织追踪器配置的OBS桶中查看，也可以到组织追踪器配置的 CTS /system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录，您必须配置转储到 对象存储服务 (OBS)或 云日志 服务(LTS)，才可在OBS桶或LTS日志组里面查看历史事件信息。否则，您将无法追溯7天以前的操作记录。 云上操作后，1分钟内可以通过云审计控制台查询管理类事件操作记录，5分钟后才可通过云审计控制台查询数据类事件操作记录。

示例6：创建textfile格式的非分区表，并设置ROW FORMAT 示例说明：创建名为table4的textfile类型的非分区表，并设置ROW FORMAT（ROW FORMAT功能只支持textfile类型的表）。 FIELDS：字段表格中的列，每个字段有一个名称和数据类型，表中字段之间以'/'分隔。 COLLECTION ITEMS：集合项指的是一组数据中的元素，可以是数组、列表或集合等，表中集合项以'$'分隔。 MAP KEYS：映射键是一种键值对的数据结构，用于存储一组相关联的数据，表中Map键以'#'分隔。 LINES：表格中的行，每一行包含一组字段值，表中行以'\n'结束（注意，只支持用'\n'作为行分隔符）。 NULL：表示缺少值或未知值的特殊值。在表格中，NULL表示该字段没有值或该值未知。如果数据中存在null值，则用字符串“null”表示。 1 2 3 4 5 6 7 8 9 10 11 12 CREATE TABLE IF NOT EXISTS table4 ( col_1 STRING, col_2 INT ) STORED AS textfile LOCATION 'obs://bucketName/filePath' ROW FORMAT DELIMITED FIELDS TERMINATED BY '/' COLLECTION ITEMS TERMINATED BY '$' MAP KEYS TERMINATED BY '#' LINES TERMINATED BY '\n' NULL DEFINED AS 'null';

示例2：创建OBS分区表 示例说明：创建一个名为student的分区表，该分区表使用院系编号（facultyNo）和班级编号（classNo）进行分区，该student表会同时按照不同的院系编号（facultyNo）和不同的班级编号（classNo）分区。 在实际的使用过程中，您可以选择合适的分区字段并将其添加到PARTITIONED BY关键字后。 1 2 3 4 5 6 7 8 9 10 CREATE TABLE IF NOT EXISTS student( id INT, name STRING ) STORED AS avro LOCATION 'obs://bucketName/filePath' PARTITIONED BY ( facultyNo INT, classNo INT );

示例7：创建表并设置多字符的分割符 示例说明：创建了一个名为table5的Hive表。表指定序列化和反序列化类ROW FORMAT SERDE，字段之间的分隔符被设置为/#，并且数据以文本文件格式存储。 只有指定ROW FORMAT SERDE为org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe时，字段分隔符才支持设置为多字符。 只有Hive OBS表支持在建表时指定多字符的分隔符，Hive DLI 表不支持在建表时指定多字符的分隔符。 指定了多字符分隔的表不支持INSERT、IMPORT等写数语句。如需添加数据，请将数据文件直接放到表对应的OBS路径下即可，本例中，将数据文件放到obs://bucketName/filePath下。 本例指定字段分割符 field.delim'为“/#”。 ROW FORMAT功能只支持textfile类型的表。 1 2 3 4 5 6 7 8 9 10 CREATE TABLE IF NOT EXISTS table5 ( col_1 STRING, col_2 INT ) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ( 'field.delim' = '/#' ) STORED AS textfile LOCATION 'obs://bucketName/filePath';

示例5：创建OBS分区表，自定义表的TBLPROPERTIES参数 示例说明：创建名为table3，并以col_3为分区依据的OBS分区表。在TBLPROPERTIES中配置dli.multi.version.enable、comment、orc.compress和auto.purge。 dli.multi.version.enable：本例配置为true，即代表开启DLI数据多版本功能，用于表数据的备份与恢复。 comment：表描述信息，comment描述信息支持后续修改。 orc.compress：指定orc存储的压缩方式，本例定义为ZLIB。 auto.purge：本例配置为true，即删除或者覆盖的数据会不经过回收站，直接被删除。 1 2 3 4 5 6 7 8 9 10 11 12 13 CREATE TABLE IF NOT EXISTs table3 ( col_1 STRING, col_2 STRING ) PARTITIONED BY (col_3 DATE) STORED AS rcfile LOCATION 'obs://bucketName/filePath' TBLPROPERTIES ( dli.multi.version.enable = true, comment = 'Created by dli', orc.compress = 'ZLIB', auto.purge = true );

示例1：创建OBS非分区表 示例说明：创建名为table1的OBS非分区表，并用STORED AS关键字指定该表的存储格式为orc格式。 在您的实际使用中，可以将OBS表存储为textfile, avro, orc, sequencefile, rcfile, parquet等类型。 1 2 3 4 5 6 CREATE TABLE IF NOT EXISTS table1 ( col_1 STRING, col_2 INT ) STORED AS orc LOCATION 'obs://bucketName/filePath';

关键字 EXTERNAL：指创建OBS表。 IF NOT EXISTS：指定该关键字以避免表已经存在时报错。 COMMENT：字段或表描述。 PARTITIONED BY：指定分区字段。 ROW FORMAT：行数据格式。 STORED AS：指定所存储的文件格式，当前该关键字只支持指定TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET格式。 LOCATION：指定OBS的路径。创建OBS表时必须指定此关键字。 TBLPROPERTIES：TBLPROPERTIES子句允许用户给表添加key/value的属性。 开启数据多版本功能，用于表数据的备份与恢复。开启多版本功能后，在进行删除或修改表数据时（insert overwrite或者truncate操作），系统会自动备份历史表数据并保留一定时间，后续您可以对保留周期内的数据进行快速恢复，避免因误操作而丢失数据。多版本功能SQL语法请参考开启或关闭数据多版本和多版本备份恢复数据。 创建OBS表时，通过指定TBLPROPERTIES ("dli.multi.version.enable"="true")开启DLI数据多版本功能，具体可以参考示例说明。 表1 TBLPROPERTIES主要参数说明 key值 value说明 dli.multi.version.enable true：开启DLI数据多版本功能。 false：关闭DLI数据多版本功能。 comment 表描述信息。 orc.compress orc存储格式表的一个属性，用来指定orc存储的压缩方式。支持取值为： ZLIB SNAPPY NONE auto.purge 当设置为true时，删除或者覆盖的数据会不经过回收站，直接被删除。 AS：使用CTAS创建表。 ROW FORMAT SERDE为org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe时，字段分隔符才支持设置为多字符。使用方法参考示例7：创建表并设置多字符的分割符。

参数说明 表2 参数说明 参数 是否必选 描述 db_name 否 Database名称。 由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 是 Database中的表名。 由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。匹配规则为：^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$。 特殊字符需要使用单引号（''）包围起来。 表名对大小写不敏感，即不区分大小写。 col_name 是 列字段名称。 列字段由字母、数字和下划线（_）组成。不能是纯数字，且至少包含一个字母。 列名为大小写不敏感，即不区分大小写。 col_type 是 列字段的数据类型。数据类型为原生类型。 请参考原生数据类型。 col_comment 否 列字段描述。仅支持字符串常量。 row_format 是 行数据格式。row_format功能只支持textfile类型的表。 file_format 是 OBS表存储格式，支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET table_comment 否 表描述。仅支持字符串常量。 obs_path 是 数据文件所在的OBS存储路径，推荐使用OBS并行文件系统存储。 格式：obs://bucketName/tblPath bucketName即桶名称。 tblPath是目录名称。目录后不需要指定文件名。 当OBS的目录下文件夹与文件同名时，创建OBS表指向的路径会优先指向文件而非文件夹。 key = value 否 设置TBLPROPERTIES具体属性和值。 例如开启DLI数据多版本时，可以设置"dli.multi.version.enable"="true"来开启该功能。 select_statement 否 用于CTAS命令，将源表的select查询结果或某条数据插入到新创建的OBS表中。

注意事项 创建表时会统计大小。 添加数据时不会修改大小。 如需查看表大小可以通过OBS查看。 CTAS建表语句不能指定表的属性。 关于分区表的使用说明： 创建分区表时，PARTITONED BY中指定分区列必须是不在表中的列，且需要指定数据类型。分区列支持string, boolean, tinyint, smallint, short, int, bigint, long, decimal, float, double, date, timestamp等hive开源支持的类型。 支持指定多个分区字段，分区字段只需在PARTITIONED BY关键字后指定，不能像普通字段一样在表名后指定，否则将出错。 单表分区数最多允许200000个。 Spark 3.3及以上版本支持使用Hive语法的CTAS语句创建分区表。 关于创建表时设置多字符的分隔符： 只有指定ROW FORMAT SERDE为org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe时，字段分隔符才支持设置为多字符。 只有Hive OBS表支持在建表时指定多字符的分隔符，Hive DLI表不支持在建表时指定多字符的分隔符。 指定了多字符分隔的表不支持INSERT、IMPORT等写数语句。如需添加数据，请将数据文件直接放到表对应的OBS路径下即可，例如示例7：创建表并设置多字符的分割符中，将数据文件放到obs://bucketName/filePath下。

语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name1 col_type1 [COMMENT col_comment1], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name2 col_type2, [COMMENT col_comment2], ...)] [ROW FORMAT row_format] [STORED AS file_format] LOCATION 'obs_path' [TBLPROPERTIES (key = value)] [AS select_statement] row_format: : SERDE serde_cls [WITH SERDEPROPERTIES (key1=val1, key2=val2, ...)] | DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] [NULL DEFINED AS char]

责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的 云安全 挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。 华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施，包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题： 安全

审计 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后，CTS可记录您从云管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。 CTS支持追踪的CCI操作列表，请参见云审计服务支持的CCI操作列表。 CCI记录的审计日志会上报到CTS，供用户查询和分析，详细介绍和配置方法，请参见查看云审计日志。

命名空间权限 Kubernetes RBAC API定义了四种类型：Role、ClusterRole、RoleBinding与ClusterRoleBinding。当前CCI仅支持ClusterRole、RoleBinding，这两种类型之间的关系和简要说明如下： ClusterRole：描述角色和权限的关系。在Kubernetes的RBAC API中，一个角色定义了一组特定权限的规则。整个Kubernetes集群范围内有效的角色则通过ClusterRole对象实现。 RoleBinding：描述subjects（包含users，groups）和角色的关系。角色绑定将一个角色中定义的各种权限授予一个或者一组用户，该用户或用户组则具有对应绑定ClusterRole定义的权限。 表1 RBAC API所定义的两种类型 类型名称 说明 ClusterRole ClusterRole对象可以授予整个集群范围内资源访问权限。 RoleBinding RoleBinding可以将同一Namespace中的subject（用户）绑定到某个具有特定权限的ClusterRole下，则此subject即具有该ClusterRole定义的权限。 当前仅支持用户使用ClusterRole在Namespace下创建RoleBinding。

什么是区域、可用区？ 区域和可用区用来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区（AZ，Availability Zone）：一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。

CCI权限 默认情况下，管理员创建的 IAM 用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 CCI部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要选择“区域级项目”，然后在指定区域（如华北-北京四）对应的项目（cn-north-4）中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问CCI时，需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于云平台各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对CCI服务，管理员能够控制IAM用户仅能对某一类云容器实例资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分，CCI支持的API授权项请参见权限策略和授权项。

Pod规格限制 云容器实例当前支持使用GPU，您可以根据需要选择，实例收费详情请参见产品价格详情。 当不使用GPU时，Pod规格需满足如下要求： 表1 Pod规格限制要求 Pod规格限制项 限制取值范围 Pod的CPU 0.25核-32核，或者自定义选择48核、64核。 CPU必须为0.25核的整数倍。 Pod的内存 1GiB-512GiB。 内存必须为1GiB的整数倍。 Pod的CPU/内存配比值 在1:2至1:8之间。 Pod的容器 一个Pod内最多支持5个容器。 Pod中所有容器和InitContainer（启动容器） 两者规格中的request和limit相等。 Pod规格计算详情请参见Pod规格计算方式。 InitContainer是一种特殊容器，在 Pod 内的应用容器启动之前运行。有关InitContainer更多解释请参见对容器进行初始化操作。

Kubernetes应用限制 基于华为云的安全性带来的限制，CCI目前还不支持Kubernetes中HostPath、DaemonSet等功能，具体如下表所示。 不支持的功能 说明 推荐替代方案 HostPath 挂载本地宿主机文件到容器中 使用云盘或者SFS文件系统 HostNetwork 将宿主机端口映射到容器上 使用type=LoadBalancer的负载均衡 DaemonSet DaemonSet（守护进程集）在集群的每个节点上运行一个Pod，且保证只有一个Pod 通过sidecar形式在Pod中部署多个容器 Privileged权限 容器拥有privileged权限 使用Security Context为Pod添加Capability type=NodePort的Service 将宿主机端口映射到容器上 使用type=LoadBalancer的负载均衡

Init容器（Init-Containers） Init-Containers，即初始化容器，顾名思义容器启动的时候，会先启动一个或多个容器，如果有多个，那么这几个Init Container按照定义的顺序依次执行，只有所有的Init Container执行完后，主容器才会启动。由于一个Pod里的存储卷是共享的，所以Init Container里产生的数据可以被主容器使用到。 Init Container可以在多种K8S资源里被使用到如Deployment、Job等，但归根结底都是在Pod启动时，在主容器启动前执行，做初始化工作。 详细信息请参见Init容器。

无状态负载（Deployment） Deployment是Pod Controller的一种。 一个Deployment可以包含一个或多个Pod，每个Pod的角色相同，所以系统会自动为Deployment的多个Pod分发请求。Deployment中的所有Pod共享存储卷。 使用Deployment时，您只需要在Deployment中描述您想要的目标状态是什么，Deployment就会帮您将Pod的状态改变到目标状态。 详细信息请参见Deployment。

Pod Pod是Kubernetes创建或部署的最小单位。一个Pod封装一个或多个容器、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。 图1 Pod Pod使用主要分为两种方式： Pod中运行一个容器。这是Kubernetes最常见的用法，您可以将Pod视为单个封装的容器，但是Kubernetes是直接管理Pod而不是容器。 Pod中运行多个需要耦合在一起工作、需要共享资源的容器。 实际使用中很少直接创建Pod，而是使用Kubernetes中称为Controller的抽象层来管理Pod实例，例如Deployment。Controller可以创建和管理多个Pod，提供副本管理、滚动升级和自愈能力。通常，Controller会使用Pod Template来创建相应的Pod。 详细信息请参见Pod。

服务（Service） Pod是有生命周期的，它们可以被创建，也可以被销毁，然而一旦被销毁生命就永远结束。通过Pod Controller能够动态地创建和销毁Pod（例如，需要进行扩缩容，或者执行滚动升级）。每个Pod都会获取它自己的IP地址，但这些IP地址不总是稳定可依赖的。 这会导致一个问题：如果一组Pod（称为backend）为其它Pod（称为frontend）提供服务，那么那些frontend该如何发现，并连接到这组Pod中的哪些backend呢？ Service定义了这样一种抽象：一个Pod的逻辑分组，一种可以访问它们的策略（通常称为微服务）。 这一组Pod能够被Service访问到，通常是通过Label Selector实现的。 举个例子，考虑一个图片处理backend，它运行了3个Pod副本。这些副本是可互换的（frontend不需要关心它们调用了哪个backend副本）。 然而组成这一组backend的Pod实际上可能会发生变化，frontend不应该也没必要知道，而且也不需要跟踪这一组backend的状态。Service定义的抽象就是用来解耦这种关联。 详细信息请参见Service。

标签 Label（标签）是一组附加在对象上的键值对，用来传递用户定义的属性。 标签常用来从一组对象中选取符合条件的对象，这也是Kubernates中目前为止最重要的节点分组方法。 比如，您可能创建了一个“tier”和“app”标签，通过Label（tier=frontend，app=myapp）来标记前端Pod容器，使用Label（tier=backend，app=myapp）标记后台Pod。然后可以使用Selectors选择带有特定Label的Pod，并且将Service或者Deployment应用到上面。 详细信息请参见Label。 图2 使用Label组织的Pod

DevOps持续交付 软件开发型企业，希望构建从代码提交到应用部署的DevOps完整流程，提高企业应用迭代效率。DevOps流程一般都是任务型计算，如企业CI/CD（持续集成/持续发布）流程自动化，需要快速申请资源，完成后快速释放。 云容器实例提供如下特性，能够很好的支持这类场景。 流程自动化：无需创建和维护集群，实现从CI/CD的全流程自动化 环境一致性：以容器镜像交付，可以无差别地从开发环境迁移到生产环境 随启随用、按需付费：容器按需启动，按资源规格和使用时长付费 图3 DevOps持续交付