华为云用户手册

  • “octopus_data_collection.yaml”配置文件说明 数据包中有“Octopus_data_collection.yaml”配置文件,各类型传感器的名字必须和文件夹名称一致,格式也必须与规范相匹配。 配置文件,主要包括车辆名称、传感器信息和标定ID等信息,详情参考如下: # 华为八爪鱼自动驾驶云服务数据采集说明 cardrive: collect_time: 2020-11-01T08:00:00+08:00 #数据包采集日期,精确到小时即可 station: '腾飞' #选填 数据采集地点名称,站点名称 car: vehicle_name: 'test0805' #车辆名称,仅支持在八爪鱼平台创建的车辆 route: 'shuttlebus_30km' #选填 车辆行驶路线 mode: 'auto' #选填 路线驾驶意图, auto代表自动驾驶, manual代表人工驾驶采集 tags: #选填 数据包对应标签ID description: '' #选填 数据包描述 data_type: opendata #必填 数据包类型,转换后的OpenData数据中包含ocotopus_data_collection.yaml文件 map_id:'' #选填,高精地图ID,字符串类型,配备后才可在回放数据界面展示高精地图信息。
  • 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“.jpg”,激光雷达采集数据文件后缀为“.pcd”,其他采集数据文件后缀为“.pb”(谷歌定义的protobuf格式文件)。 详情请参考表1。 消息topic具体格式要求请参考“消息topic格式规范”。 接收到的消息topic示例请参考“消息topic格式示例”。 自车相关或每个传感器设备,都对应一个消息topic。 采集数据的topic名称支持自定义,包含中英文、数字、“_”“-”,不得超过64个字符。 表1 数据类型和消息topic对应关系 分类 数据类型 消息topic(示例) 文件后缀 备注 传感器 相机(camera) camera_front .jpg 录制车辆路况图像数据。 激光雷达(lidar) lidar_roof_0 .pcd 以发射激光束探测目标的位置、速度等特征量的雷达系统,探测车辆周围的目标位置,监测移动速度。 位置数据(gnss) gnss_raw .pb 通过卫星导航系统,定位车辆位置。 毫米波雷达(radar) RADAR_FRONT .pcd 工作在毫米波段探测的雷达,探测车辆周围的目标位置,监测移动速度。 车辆数据 自车坐标和姿态数据(ego_tf) ego_tf .pb 定位自车所处位置以及当前车辆姿态。 车辆数据(vehicle) vehicle .pb 车辆底盘信息。 规划推理数据 目标推理数据(object_array_vision) object_array_vision .pb 感知数据信息。 标签数据 标签记录数据(tag_record) tag_record .pb 在车端标记驾驶过程中人工和自动驾驶路段以及其他重要信息。 控制数据 控制指令(control) control .pb 自车的方向盘转角、加速度值等控制数据。 规划路径 规划轨迹(planning_trajectory) planning_trajectory .pb 自车规划行驶路径。 预测路径 预测跟踪(predicted_objects) predicted_objects .pb 感知目标的预测路径。 全局规划 全局路径(routing_path) routing_path .pb 自车全局规划路径。 交通灯 交通灯信息(traffic_light_info) traffic_light_info .pb 红绿灯。
  • 使用场景 Octopus平台接收到原始数据(Rosbag包)后,将对数据进行解包、轨迹和接管分析等操作,用于数据总览、数据场景、数据回放、标注服务等模块,请用户结合实际需求,准备好相应模块所需数据。 Octopus平台转换后的OpenData数据服务模块所需数据请见下表: 表2 数据和模块对应关系 类型 消息 数据总览 数据场景 数据回放 标注服务 相机 camera - - √ √ 激光雷达 lidar - - √ √ 位置数据 gnss √ - √ - 自车坐标姿态 ego_tf - √ √ - 车辆数据 vehicle - √ √ - 感知推理 object_array_vision - √ √ - 接管及打标签信息 tag_record - - √ - 控制指令 control - - √ - 规划轨迹 planning_trajectory - - √ - 预测跟踪 predicted_objects - - √ - 全局规划 routing_path - - √ - 交通灯 traffic_light_info - - √ - 毫米波雷达 radar - - √ -
  • 批次任务相关操作 单击项目名称,在“批次任务列表”,还可以进行以下操作。 表2 批次任务相关操作 任务 操作步骤 查询批次任务 在批次任务列表搜索框中,可通过任务名称、规范,任务状态和任务类型查询任务。 导出批次任务列表 单击页面的“导出”,可按需选择导出项,可将当前页面的所有标注任务导出至本地,以Excel形式查看。 导出任务 单击操作栏中的“导出数据集”,可创建导出任务。 导出单个批次任务 单击操作栏中的“导出任务列表”项目名称,可按需选择导出项,导出单个批次任务中拆分的任务。 拆分批次任务 单击操作栏中的“拆分”,即可对任务做拆分处理。具体步骤参考批次任务列表。 查看批次任务日志 单击操作栏中的“日志”,即可查看批次任务日志。 删除批次任务 选择批次任务单击“删除批次任务”,即可删除批次任务。 说明: 如果批次任务被拆分成子任务,则需要删除子任务后,才可删除批次任务。
  • 延时评测 图2 延时评测 如上图所示,延时评测以仿真pb文件作为输入,进行评测逻辑处理后,将评测结果写成评测pb。 其中仿真pb是通过八爪鱼提供的sim_osi.proto进行序列化和反序列化,评测pb是通过八爪鱼提供的eva.proto进行序列化和反序列化的。 延时评测算法的实现有如下几个步骤: 在代码内通过SIM_OSI_PATH环境变量获取仿真pb路径,通过EVA_PATH环境变量获取评测pb路径。 通过文件Open的方式打开仿真pb路径,读取字节流,利用sim_osi.proto中的SimData反序列化仿真pb中的内容。该步骤会得到一个SimData的内存对象,用户通过访问对象中的字段即可获取自己关注的数据。 SimData中包含仿真器输出的整个仿真过程数据,用户处理根据自身评测逻辑处理所有帧数据。 用户自定义的评测指标包含通过,不通过等结果,将该结果写入到eva.proto中的Evaluation类中,然后通过文件Open的形式打开评测pb路径,将评测结果写成评测pb文件。 写成评测pb文件后,延时评测镜像的工作就完成了,仿真平台的控制程序在运行自定义评测容器时会主动将评测pb文件上传到对象存储中,前端通过下载该评测pb文件进行解析,可以将自定义评测结果和内置评测结果一样完全兼容地进行展示。 评测算法代码开发完成后,将代码构建成算法镜像上传到仿真平台评测管理模块即可被仿真任务使用。在制作评测算法镜像的Dockerfile中,建议将评测代码编译成的二进制文件COPY到系统的/usr/bin目录下,便于在前端界面填写评测镜像的运行命令时直接填写该二进制文件的名称即可。在镜像中新建一个shell脚本来运行评测代码也是可以接受的方案。
  • 实时评测 图1 实时评测 实时评测的基本架构如上图所示,实时评测算法从仿真器和AD算法按帧接收数据,每接收一帧数据,就调用一次评测函数,在最后仿真结束时将评测结果写成评测pb文件。 实时评测的实现包括如下几个步骤: 代码内实现与仿真器的通信,实时接收仿真器的帧数据,也可同时接收仿真器和AD算法的数据。 处理每帧数据,不断更新评测结果。 仿真结束时,将最后一帧的评测结果作为最终的评测结果,通过EVA_PATH环境变量获取评测pb路径,经评测结果写入到评测pb文件中。
  • 标注样例 Octopus标注平台功能众多,类型复杂。为帮助用户更快适应标注平台功能,熟悉标注平台界面,开展业务。本节以较典型的标注任务为例,详细介绍标注平台对不同标注任务的操作指导,用户可参考操作指导,依据标注规范快速在平台展开标注。 人车类型图片标注任务 2.5D人车图片标注任务 点云标注任务 点云跟踪标注任务 车道线图片标注任务 语义分割图片标注任务 语义分割点云标注任务 2D3D关联标注任务 语音标注任务 文本标注任务 父主题: 标注服务
  • 响应示例 { "server": { "addresses": { "68269e6e-4a27-441b-8029-35373ad50bd9": [ { "addr": "192.168.0.3", "version": 4, "OS-EXT-IPS-MAC:mac_addr": "fa:16:3e:1b:35:78", "OS-EXT-IPS:type": "fixed" } ] }, "created": "2012-08-20T21:11:09Z", "flavor": { "id": "s3.xlarge.2", "links": [ { "href": "http://openstack.example.com/openstack/flavors/s3.xlarge.2", "rel": "bookmark" } ] }, "hostId": "65201c14a29663e06d0748e561207d998b343e1d164bfa0aafa9c45d", "id": "893c7791-f1df-4c3d-8383-3caae9656c62", "image": "", "links": [ { "href": "http://openstack.example.com/v2/openstack/servers/893c7791-f1df-4c3d-8383-3caae9656c62", "rel": "self" }, { "href": "http://openstack.example.com/openstack/servers/893c7791-f1df-4c3d-8383-3caae9656c62", "rel": "bookmark" } ], "metadata": {}, "name": "new-server-test", "progress": 0, "status": "ACTIVE", "tenant_id": "openstack", "updated": "2012-08-20T21:11:09Z", "user_id": "fake" } }
  • 响应示例 { "servers": [ { "addresses": { "68269e6e-4a27-441b-8029-35373ad50bd9": [ { "addr": "192.168.0.3", "version": 4 } ] }, "created": "2012-09-07T16:56:37Z", "flavor": { "id": "s3.xlarge.2", "links": [ { "href": "http://openstack.example.com/openstack/flavors/s3.xlarge.2", "rel": "bookmark" } ] }, "hostId": "16d193736a5cfdb60c697ca27ad071d6126fa13baeb670fc9d10645e", "id": "05184ba3-00ba-4fbc-b7a2-03b62b884931", "image": "", "links": [ { "href": "http://openstack.example.com/v2/openstack/servers/05184ba3-00ba-4fbc-b7a2-03b62b884931", "rel": "self" }, { "href": "http://openstack.example.com/openstack/servers/05184ba3-00ba-4fbc-b7a2-03b62b884931", "rel": "bookmark" } ], "metadata": {}, "name": "new-server-test", "progress": 0, "status": "ACTIVE", "tenant_id": "openstack", "updated": "2012-09-07T16:56:37Z", "user_id": "fake" } ] }
  • URI GET /v2.1/{project_id}/servers/detail?changes-since={changes-since}&image={image}&flavor={flavor}&name={name}&status={status}&limit={limit}&marker={marker}¬-tags={not-tags}&reservation_id={reservation_id}&ip={ip} 参数说明请参见表1。 表1 路径参数 参数 是否必选 描述 project_id 是 项目ID。 获取方法请参见获取项目ID。
  • 状态管理 权限 对应的API接口 授权项(Action) 依赖的授权项 IAM 项目 (Project) 企业项目 (Enterprise Project) 实例授权 标签授权 切换弹性云服务器操作系统 POST /v2/{project_id}/cloudservers/{server_id}/changeos ecs:cloudServers:changeOS - √ √ √ √ 切换弹性云服务器操作系统 POST /v1/{project_id}/cloudservers/{server_id}/changeos ecs:cloudServers:changeOS - √ √ √ √ 重装弹性云服务器操作系统 POST /v2/{project_id}/cloudservers/{server_id}/reinstallos ecs:cloudServers:rebuild - √ √ √ √ 重装弹性云服务器操作系统 POST /v1/{project_id}/cloudservers/{server_id}/reinstallos ecs:cloudServers:rebuild - √ √ √ √ 变更云服务器规格(V1.1) POST /v1.1/{project_id}/cloudservers/{server_id}/resize ecs:cloudServers:resize - √ √ √ √ 变更云服务器规格(按需) POST /v1/{project_id}/cloudservers/{server_id}/resize ecs:cloudServers:resize - √ √ √ √ 冷迁移云服务器 POST /v1/{project_id}/cloudservers/{server_id}/migrate ecs:cloudServers:migrate - √ √ √ √ 启动云服务器(OpenStack原生)(废弃) POST /v2.1/{project_id}/servers/{server_id}/action ecs:servers:start ecs:servers:list √ × × × 关闭云服务器(OpenStack原生)(废弃) POST /v2.1/{project_id}/servers/{server_id}/action ecs:servers:stop ecs:servers:list √ × × × 重启云服务器(OpenStack原生)(废弃) POST /v2.1/{project_id}/servers/{server_id}/action ecs:servers:reboot ecs:servers:list √ × × × 变更云服务器规格(OpenStack原生)(废弃) POST /v2.1/{project_id}/servers/{server_id}/action ecs:servers:resize ecs:servers:list ecs:flavors:get ims:images:get evs:volumes:list evs:volumes:create evs:volumes:get evs:volumes:attach evs:volumes:detach evs:volumes:manage vpc:ports:get vpc:ports:update vpc:ports:create vpc:ports:delete √ × × × 锁定云服务器(OpenStack原生)(废弃) POST /v2.1/{project_id}/servers/{server_id}/action ecs:servers:lock ecs:servers:list √ × × × 解锁云服务器(OpenStack原生)(废弃) POST /v2.1/{project_id}/servers/{server_id}/action ecs:servers:unlock ecs:servers:list √ × × × 父主题: 权限和授权项
  • 相关信息 关于黑白名单设置更多详细的操作,请参见配置IP黑白名单规则拦截/放行指定IP。 如果您的业务部署在华为云、非华为云上或云下,需要防护对象为 域名 ,您可以需要采用“云模式-CNAME接入”的接入方式,具体操作可参考如下方法: 购买WAF云模式标准版。 将网站接入WAF防护(云模式-CNAME接入)。 步骤四:配置黑白名单设置规则拦截恶意IP。 如果您的业务部署在华为云上,规模为大型企业网站,且基于业务特性具有制定个性化防护规则的安全需求,需要防护对象为域名/IP,您可以采用“独享模式”的接入方式,具体操作可参考如下方法: 独享模式在部分区域已经停售,详见独享模式停售通知。如果您已购买独享模式的WAF,可跳过该步骤继续使用。 将网站接入WAF防护(独享模式)。 步骤四:配置黑白名单设置规则拦截恶意IP。
  • 步骤四:配置黑白名单设置规则拦截恶意IP 在左侧导航树中,选择“防护策略”,进入“防护策略”页面。 单击目标策略名称,进入目标策略的防护配置页面。 选择“黑白名单设置”配置框,开启黑白名单设置策略。 :开启状态。 :关闭状态。 在“黑白名单设置”规则配置列表上方,单击“添加规则”,按照如图2所示进行配置。 IP/IP段或地址组:IP/IP段。如果您需要拦截多个IP,可选择“地址组”。 IP/IP段:根据实际情况配置需要拦截的IP或IP段,示例:192.168.2.1。 防护动作:拦截。 图2 拦截指定IP 单击“确定”,完成配置。
  • 准备工作 在购买 Web应用防火墙 之前,请先 注册华为账号 并开通华为云。具体操作详见注册华为账号并开通华为云、实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 请保证账户有足够的资金,以免购买Web应用防火墙失败。具体操作请参见账户充值。 请确保已为账号赋予相关WAF权限。具体操作请参见创建用户组并授权使用WAF。 表1 WAF系统角色 系统角色/策略名称 描述 类别 依赖关系 WAF Administrator Web应用防火墙服务的管理员权限。 系统角色 依赖Tenant Guest和Server Administrator角色。 Tenant Guest:全局级角色,在全局项目中勾选。 Server Administrator:项目级角色,在同项目中勾选。 WAF FullAccess Web应用防火墙服务的所有权限。 系统策略 无。 WAF ReadOnlyAccess Web应用防火墙的只读访问权限。 系统策略
  • 相关信息 关于CC攻击防护更多详细的操作,请参见配置CC攻击防护规则防御CC攻击。 如果您的业务部署在华为云上,规模为大型企业网站,且对业务稳定性有较高的安全防护需求,需要防护对象为域名/IP,您可以采用“云模式-ELB接入”的接入方式,具体操作可参考如下方法: 购买WAF云模式标准版。 购买实例后,提交工单申请开通“云模式-ELB接入”。 将网站接入WAF防护(云模式-ELB接入)。 配置CC攻击防护拦截大流量高频攻击。 如果您的业务部署在华为云上,规模为大型企业网站,且基于业务特性具有制定个性化防护规则的安全需求,需要防护对象为域名/IP,您可以采用“独享模式”的接入方式,具体操作可参考如下方法: 独享模式在部分区域已经停售,详见独享模式停售通知。如果您已购买独享模式的WAF,可跳过该步骤继续使用。 将网站接入WAF防护(独享模式)。 配置CC攻击防护拦截大流量高频攻击。
  • 准备工作 在购买Web应用防火墙之前,请先注册华为账号并开通华为云。具体操作详见注册华为账号并开通华为云、实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 请保证账户有足够的资金,以免购买Web应用防火墙失败。具体操作请参见账户充值。 请确保已为账号赋予相关WAF权限。具体操作请参见创建用户组并授权使用WAF。 表1 WAF系统角色 系统角色/策略名称 描述 类别 依赖关系 WAF Administrator Web应用防火墙服务的管理员权限。 系统角色 依赖Tenant Guest和Server Administrator角色。 Tenant Guest:全局级角色,在全局项目中勾选。 Server Administrator:项目级角色,在同项目中勾选。 WAF FullAccess Web应用防火墙服务的所有权限。 系统策略 无。 WAF ReadOnlyAccess Web应用防火墙的只读访问权限。 系统策略
  • 检查云服务器CPU利用率 云服务器的带宽和CPU利用率过高可能导致网站无法访问。如果您已经通过 云监控服务 创建过告警任务,当CPU或带宽利用率高时,系统会自动发送告警给您。 定位影响云服务器带宽和CPU利用率高的进程。 Windows操作系统本身提供了较多工具可以定位问题,包括任务管理器、性能监视器(Performance Monitor)、资源监视器(Resource Monitor)、Process Explorer、Xperf (Windows server 2008 以后)和抓取系统Full Memory Dump检查。 Linux操作系统执行top命令查看当前系统的运行状态。 问题处理:排查进程是否正常,并分类进行处理。 正常进程:优化程序,或参考变更规格通用操作变更 云服务器配置 。 异常进程:建议您手动关闭进程,您也可以借助第三方工具关闭进程。
  • 检查备案与域名解析是否正常(使用域名无法访问时适用) 完成上述的排查后,请使用弹性公网IP进行访问。如果使用IP地址可以访问,但是域名访问失败,则可能是域名备案或者解析相关问题造成网站无法访问。 网站的访问与域名的状态、域名实名认证状态、网站备案状态、解析是否生效、网站网络环境等多个环节有关系。在这些环节中,任意一个环节出现问题,都会导致网站无法访问。 关于域名与备案解析的排查思路请参考网站无法访问排查思路(排查域名与备案解析)。 检查域名备案。 备案是中国大陆的一项法规,网站的域名和服务器IP需要进行备案,备案成功后您的域名才可以指向服务器开通访问。 如果您使用中国大陆节点服务器提供互联网信息服务,需要先在服务器提供商处提交备案申请,备案成功后域名才可以指向服务器开通访问。如何备案? 如果您使用的是中国大陆地区以外的服务器(包括中国港澳台及其他国家、地区)提供互联网信息服务,无需备案。 如果您的域名已在其他接入商办理过备案并取得备案号,现在更换到华为云服务器进行域名解析(或者二级域名指向华为云),因接入商有变更,需要您在华为云做接入备案。 请确保网站内容与备案信息一致,且备案信息真实有效。 如果您的网站已备案成功仍无法访问,请等待一个工作日。由于信息同步延迟,备案通过一个工作日后网页会自动开放。 检查域名解析。 如果域名已备案,但未正确配置域名解析也可能会导致域名无法Ping通。 您可以DNS服务控制台查看域名解析详情。 检查DNS服务器配置。 如果ping 域名显示找不到主机可能是DNS服务器速度慢,导致的访问卡顿,建议您参考案例:弹性云服务器访问中国大陆外网站时加载缓慢怎么办?进行优化。
  • 排查思路 如果打开网站有报错提示信息,首先应该根据报错提示信息,排查可能的原因。 您可以参考通用请求返回值中错误码说明排查可能原因。 如果报错提示信息无法帮助您准确定位问题,请记录资源信息和问题时间,然后单击提交工单,填写工单信息,获取技术支持。 您还可以根据以下排查思路进行问题定位,排查思路根据可能原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题,请继续排查其他可能原因。 图1 网站无法访问排查思路 表1 网站无法访问排查思路 可能原因 处理措施 检查端口通信 检查Web端口是否正常监听,详细操作请参考检查端口通信问题。 检查安全组规则 检查安全组是否放通Web端口,详细操作请参考检查安全组规则。 检查防火墙配置 测试防火墙关闭后是否可以正常访问,详细操作请参考检查防火墙配置。 检查云服务器路由配置 查看云服务器路由表中网关信息配置是否正确,详细操作请参考检查云服务器路由配置。 检查本地网络 更换手机热点或其他网络测试是否可以正常访问,详细操作请参考检查本地网络。 检查云服务器CPU利用率 定位影响云服务器CPU利用率高的进程并优化进程,详细操作请参考检查云服务器CPU利用率。 检查域名解析(适用于域名访问的场景) 域名解析配置是否配置正确,详细操作请参考检查备案与域名解析是否正常(使用域名无法访问时适用)。 检查域名备案(适用于域名访问的场景) 网站的域名和服务器IP是否备案成功,详细操作请参考检查备案与域名解析是否正常(使用域名无法访问时适用)。
  • 检查端口通信问题 确保服务进程和端口正常工作,处于LISTEN状态。表2为常见TCP状态。 Linux操作系统云服务器端口通信问题排查 使用netstat -antpu命令检查服务的状态,确认端口是否正常监听。 例如:netstat -antpu |grep sshd 图2 查看端口监听状态_linux 如果端口被正常监听,请执行检查安全组规则。 如果端口没有被正常监听,请检查Web服务进程是否启动或者正常配置。 Windows操作系统云服务器端口通信问题排查 使用远程端口检测命令: 打开CMD命令行窗口。 执行netstat -ano | findstr “端口”命令查看进程使用的端口号。 例如:netstat -ano | findstr “80” 图3 查看端口监听状态_windows 如果端口被正常监听,请执行检查安全组规则。 如果端口没有被正常监听,请检查Web服务进程是否启动或者正常配置。 表2 常见TCP状态 TCP状态 说明 对应场景 LISTEN 侦听来自远方的TCP端口的连接请求 正常TCP服务端 ESTABLISHED 代表一个打开的连接 正常TCP连接 TIME-WAIT 等待足够的时间以确保远程TCP接收到连接中断请求的确认 已关闭的TCP连接,一般1分钟后清除。 CLOSE-WAIT 等待从本地用户发来的连接中断请求 应用程序BUG,没有关闭socket。出现在网络中断后。一般是进程死循环或等待其他条件。可以重启对应进程。 FIN-WAIT-2 从远程TCP等待连接中断请求 网络中断过,需要12分钟左右自行恢复。 SYN-SENT 发送连接请求后等待匹配的连接请求 TCP连接请求失败。一般是服务端CPU占用率过高,处理不及时导致。DDos攻击也会出现此情况。 FIN-WAIT-1 等待远程TCP连接中断请求,或先前的连接中断请求的确认 网络中断过,此状态可能不会自行修复(等15分钟以上确认),如果长期占用端口需要重启OS恢复。
  • 检查云服务器路由配置 Linux操作系统云服务器 使用route命令查看路由策略,确保0.0.0.0的默认路由指向网关,使用的IP和网关在相同网段,如下图第1行和第3行所示。 使用ifconfig或者ip addr命令查看实例的IP地址。 图4 ifconfig命令查看IP地址 图5 ip addr命令查看IP地址 使用route -n命令通过路由表查看网关。 图6为示例,具体以云服务器网关实际地址为准。 图6 route -n命令查看网关
  • 告警通知 当告警触发后,我们需要定义通知的渠道和对象,快速的将告警信息通过配置的渠道通知到运维人员。 当前 CES 支持以下三种方式来完成通知的配置。 通知策略(推荐):产品最新上线能力,通过通知策略可以完成告警的分级通知、简易排班。 通知组:通过在 云监控 服务上配置的通知群组,可以快速通知到指定运维人员。 主体订阅:通过在 消息通知 服务( SMN )配置的主题,快速将该消息推送至消息主题。 通知配置模块如下图所示。 通知策略模块如下图所示。 监控最核心的职责是帮助用户发现问题,而问题的发现是依赖监控系统中对告警规则的配置,告警规则配置的覆盖率、准确率将直接影响监控系统的故障发现率。
  • 告警状态有哪些? 目前云监控服务支持五种告警状态: 告警中、已解决、数据不足、已触发、已失效。 告警中:监控指标数值达到告警配置阈值,资源正在告警中; 已解决:监控指标数值恢复至正常区间,资源的告警已解决; 数据不足:连续三个小时未有监控数据上报,通常是由于相应服务实例被删除或状态异常导致; 已触发:监控的资源触发了告警策略中配置的事件; 已失效:告警规则中监控的资源或告警策略有调整,原有的告警记录状态失效。 父主题: 告警
  • Agent各种状态说明及异常状态处理方法 插件有以下四种状态: 运行中:插件正常运行,监控数据上报正常。 未安装: Agent未安装,安装方法参考《云监控服务用户指南》中的“Agent安装说明”章节。 Agent已经安装,委托未配置,委托配置方法参考如何配置委托?。 Agent已经安装,网络配置异常,修复方法参考修改DNS与添加安全组。 已停止: Agent被手动停止,启动插件方法参考管理Agent。 故障:监控插件每1分钟发送1次心跳;当服务端3分钟收不到插件心跳时,“插件状态”显示为“故障”。 Agent域名无法解析,修复方法参考修改DNS与添加安全组(Linux)、修改DNS与添加安全组(Windows)。 账号欠费。 Agent进程故障,先尝试重启Agent,重启Agent方法参考管理Agent。如果重启后状态还是故障,可能Agent相关文件被破坏,请尝试重新安装Agent,安装方法参考Agent安装说明。 服务器内部时间和本地标准时间不一致。 使用的DNS非华为云DNS,请通过执行dig+目标域名获取到agent.ces.myhuaweicloud.com在华为云内网DNS下解析到的IP后再添加对应的hosts。华为云提供的内网 DNS地址 请参见华为云提供的内网DNS地址是多少?。 请将Agent升级为最新版本,详情请参考升级Agent。 父主题: 主机监控
  • 约束与限制 该约束仅针对本地挂载路径(即挂载点),不影响其他文件或目录。 SFS Turbo文件系统暂不支持挂载至Windows系统的云服务器。 使用域名(DNS)挂载SFS Turbo文件系统时,不支持跨区域(Region)挂载,但可以通过指定IP的方式跨区域(Region)挂载,网络互通方式具体参考云连接CC“跨区域VPC互通”。 本地挂载路径(即挂载点根目录)的atime、ctime和mtime属性是当前时间,每次查询根目录属性返回的都是服务端当时时间的值。 暂不支持修改本地挂载路径(即挂载点)的元数据,即不支持对挂载点的元数据做如下操作: - touch:更新文件的访问时间和修改时间 - rm:删除文件或目录 - cp:复制文件或目录 - mv:移动文件或目录 - rename:重命名文件或目录 - chmod:修改文件或目录的权限 - chown:修改文件或目录的所有者 - chgrp:修改文件或目录的所属组 - ln:创建硬链接 - link:创建硬链接 - unlink:删除硬链接
  • FAQ 什么情况下会发生数据淘汰? 从OBS导入到SFS Turbo的文件,当文件在设定数据淘汰时间内没有被访问时,会自动对该文件进行淘汰。 在SFS Turbo上创建的文件,只有已经导出到OBS并且满足数据淘汰时间,才会进行淘汰,如果还没有导出到OBS,则不会淘汰。 数据淘汰之后,怎么重新将数据导入到SFS Turbo文件系统? 对文件进行读写操作时会重新从OBS桶加载文件数据到SFS Turbo文件系统; 使用数据导入功能重新将数据从OBS桶加载到SFS Turbo文件系统。 什么场景下会发生数据导入失败? 当只导入了文件元数据,或者SFS Turbo中发生了数据淘汰,SFS Turbo中只剩下文件元数据,但OBS桶中的对象又被删除时,进行数据导入或访问文件内容时会发生失败。 导入/导出任务是同步的,还是异步的? 是异步的,任务提交后马上返回,您可以通过任务id查询异步任务完成状态。 删除SFS Turbo联动目录内的文件,OBS桶里对应的对象会删除吗? 不会。如果没有开启自动同步策略,则不会。如果开启了自动同步策略,则会删除。 SFS Turbo绑定OBS桶时或者绑定之后可以指定导入目录和文件的权限吗? 一般情况下,您可以指定导入目录和文件的权限。如果无法指定,请提交工单申请。指定权限详情如下所示: 绑定OBS桶时或绑定OBS桶后,支持设置导入目录和文件的默认权限,请参考《高性能弹性文件服务API参考》的“绑定后端存储”和“更新后端存储属性”章节。如果未设置,默认为750(目录权限)和640(文件权限)。 元数据导入(快速导入)和数据导入时,支持指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“创建数据导入导出任务”章节。如果未指定,则以上述默认权限为准。 历史版本导入目录和文件的默认权限为755(目录权限)和644(文件权限),现逐步按区域切换为750(目录权限)和640(文件权限),如有疑问,请提交工单咨询。 SFS Turbo绑定OBS桶时或者绑定之后,建议指定导入目录和文件的默认权限。如果您未指定,非root用户无权限访问对应的目录和文件。
  • 绑定OBS桶 登录高性能弹性文件服务管理控制台。 在文件系统列表中,单击创建的文件系统名称,进入文件系统详情页面。 进入“绑定后端存储”页签,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下参数。 表1 参数说明 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。 子目录名称不能重复,子目录名称长度不能超过63个字符。 子目录名称必须是文件系统根目录下不存在的目录名。 子目录名称不能是“.”或“..”。 不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 不支持绑定OBS并行文件系统和已配置服务端加密的OBS存储桶进行联动。 不支持 OBS区域域名 OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 自动导出 打开开关后,当文件系统发生数据更新时,将自动导出到OBS桶。 - 支持 导出数据 打开“自动导出”开关,则会出现该参数。 选择导出到OBS桶的数据更新类型“新增数据”、“修改数据”或“删除数据”后,SFS Turbo会以异步方式导出到OBS。 新增数据:SFS Turbo联动目录下创建的文件,及之后对这些文件进行的元数据和数据修改,会被自动同步到OBS桶里。 修改数据:从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 删除数据:在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 - 支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”,并单击“确定”,完成绑定。 如果您想指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“绑定后端存储”和“更新后端存储属性”执行操作。 不支持绑定OBS并行文件系统和已配置服务端加密的OBS存储桶进行联动。 绑定OBS桶时,会在OBS桶上添加Sid为“PolicyAddedBySFSTurbo”的桶策略,请不要修改或删除该桶策略,否则可能导致联动功能异常。 如果您已将一个或多个SFS Turbo文件系统绑定了OBS存储桶,在删除文件系统或删除绑定之前,请不要删除该OBS存储桶,否则可能导致联动功能异常。 以桶名为“obs-test”的OBS桶为例,桶策略“PolicyAddedBySFSTurbo”的内容如下所示: { "Statement": [ { "Sid": "PolicyAddedBySFSTurbo", "Effect": "Allow", "Principal": { "ID": [ "domain/xxx:user/xxx" ] }, "Action": [ "ListBucket", "HeadBucket", "GetBucketStorage", "GetBucketPolicy", "GetBucketAcl", "GetBucketNotification", "GetBucketQuota", "GetObject", "PutObject", "DeleteObject", "GetObjectAcl", "PutObjectAcl", "ModifyObjectMetaData" ], "Resource": [ "obs-test", "obs-test/*" ] } ] }
  • 数据淘汰功能 SFS Turbo文件系统绑定OBS桶之后,可以使用数据淘汰功能。淘汰时会释放数据内容,仅保留元数据,释放后不占用SFS Turbo文件系统上的存储空间。再次访问该文件时,将重新从OBS中加载文件数据内容。 按时间淘汰 SFS Turbo文件系统绑定OBS桶之后,支持数据按时间淘汰功能。设定时间内没有被访问过的文件会被淘汰。 按时间淘汰功能支持设置(冷)数据淘汰时间,设置步骤请参考以下操作。 登录高性能弹性文件服务管理控制台。 在文件系统列表中,单击创建的SFS Turbo文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置(冷)数据淘汰时间。 图7 设置冷数据淘汰时间 按容量淘汰 SFS Turbo文件系统绑定OBS桶后,支持数据按容量淘汰功能。 容量达到95%及以上按照30分钟淘汰时间进行淘汰,淘汰至容量低于85%。 淘汰规则:按时间淘汰和按容量淘汰哪个先达到就先按哪个淘汰。 数据淘汰默认开启,淘汰时间默认为60小时。设置(冷)数据淘汰时间的API请参考更新文件系统。 如果SFS Turbo文件系统存储空间写满,会影响业务运行,建议在云监控服务CES上配置SFS Turbo已用容量的监控告警。 当触发容量阈值告警时请手动缩短数据淘汰时间,例如从60小时配置成40小时,加速(冷)数据淘汰,或者对SFS Turbo存储空间进行扩容。
  • 数据导入功能 SFS Turbo文件系统绑定OBS桶后,可以使用数据导入功能。 默认情况下,元数据导入完成后,数据不会导入到SFS Turbo文件系统中,初次访问会按需从OBS中加载数据,对文件的第一次读取操作可能耗时较长。如果您的业务对时延比较敏感,并且您知道业务需要访问哪些目录和文件,比如AI训练等场景涉及海量小文件,对时延比较敏感,可以选择提前导入指定目录和文件。 数据导入功能会同时导入元数据和数据内容,元数据将会采用快速导入方式,不会导入其他附加元数据(如uid、gid、mode),如果您想指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“创建数据导入导出任务”章节,该操作仅针对本次导入任务生效。 在绑定OBS桶之后,单击“数据导入”选项。 图5 数据导入 “对象路径”请填写绑定OBS桶内对象的路径(不包含桶名)。 OBS桶中的对象路径(不包含桶名),目录需以“/”结尾。 如果要导入OBS桶内所有对象,则不用填写对象路径。SFS Turbo会将数据导入到联动目录下,且联动目录下的文件路径和OBS桶里的对象路径保持一致。 对象路径示例(“/mnt/sfs_turbo”为您的挂载目录,“output-1”为您的联动目录名称): 如对象路径为dir/,则会导入到“/mnt/sfs_turbo/output-1/dir” 如对象路径为dir/file, 则会导入到“/mnt/sfs_turbo/output-1/dir/file” 如对象路径为空,则会直接导入到“/mnt/sfs_turbo/output-1” 单击“确定”,提交导入任务。 在OBS数据导入到SFS Turbo之后,如果OBS桶中的数据发生新增或修改,需要重新导入到SFS Turbo中。 通过API使用数据导入功能的具体操作请参考创建SFSTurbo 和 OBS 之间的联动任务。 不支持长度大于255字节的文件名或子目录名。
  • 元数据导入功能 SFS Turbo文件系统绑定OBS桶后,可以使用元数据导入功能。 当您使用SFS Turbo文件系统访问OBS桶的数据时,您需要使用元数据导入功能提前将OBS数据文件的元数据(名称、大小、最后修改时间)导入到SFS Turbo文件系统中。只有元数据导入之后,您才可以在文件系统的联动子目录中去访问OBS存储桶中的数据。元数据导入功能仅会导入文件元数据,文件内容会在首次访问时从OBS存储桶中加载并缓存在SFS Turbo中,后续重复访问会直接命中,无需再从OBS存储桶中加载。 SFS Turbo文件系统提供快速导入和附加元数据导入两种元数据导入方式。元数据导入之后,您可以在联动子目录下看到导入的目录和文件列表。 快速导入:当您绑定的OBS桶中存储的数据不是来源于SFS Turbo导出时,可以选择快速导入方式,快速导入方式仅会导入OBS的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS Turbo会生成默认的附加元数据(uid、gid、目录权限、文件权限),如果您想指定导入目录和文件的权限,请参考《高性能弹性文件服务API参考》的“创建数据导入导出任务”章节,该操作仅针对本次导入任务生效。快速导入能够提供更快的元数据导入性能,推荐您使用快速导入。 附加元数据导入:当您绑定的OBS桶中存储的数据是来源于SFS Turbo导出时,可以使用附加元数据导入方式,附加元数据导入方式会导入OBS的元数据(名称、大小、最后修改时间)以及来源于SFS Turbo导出时的附加元数据(如uid、gid、mode)。如果没有来源于SFS Turbo的附加元数据则以指定导入目录和文件的权限为准。 在绑定OBS桶之后,单击“元数据导入”选项。 图4 元数据导入 “导入前缀”请填写绑定OBS桶内对象的前缀,可以具体到某个对象名。如果要导入整个OBS桶内的所有对象,则不用填写。 勾选“附加元数据导入”将会采用附加元数据导入方式,不勾选“附加元数据导入”将采用快速导入方式。 单击“确定”,提交导入任务。 在OBS数据导入到SFS Turbo之后,如果OBS桶中的数据发生新增或修改,需要重新导入到SFS Turbo中。 不支持长度大于255字节的文件名或子目录名。
共99354条