华为云用户手册

  • 相关操作 添加指标卡:配置后,如需将指标信息保存为卡片,可单击表格右上角“添加指标卡”,并在弹出的对话框中,设置指标卡名称后,单击“保存”。 下载日志:配置后,如需导出当前查询分析数据,可单击表格右上角“下载日志”,系统将下载当前查询分析日志数据至本地。 收起配置:图表配置完成后,在“预览图表”右侧单击“收起配置”,页面将不显示图表配置参数。 展开配置:图标配置收起后,如需再次配置,可在“预览图表”右侧单击“展开配置”。
  • 事件响应流程 获取、保存、记录证据。 根据您的华为云环境的配置情况,您可能通过各种来源了解到潜在的勒索软件事件: 某IT员工反馈,通过SSH及其他类似方式无法访问E CS 实例。 ECS实例创建正常,华为云的 云监控 (Cloud Eye)或其他监控工具也没有上报告警,但依然无法访问ECS实例。 由ECS实例的异常指标或异常日志触发生成一个工单在您的工单系统中。 ECS实例在华为云控制台或云监控的告警中上报网络异常问题。 攻击者通过其他通信渠道(如电子邮件)收到勒索软件的请求。 通过华为 云安全 服务或其他安全工具发现ECS实例遭受到攻击。 您的华为云或者其他第三方监控系统发出告警或显示指标异常。 当确认某个事件为安全事件后,评估其影响范围至关重要,包括受影响资源的数量和所涉及数据的敏感性。 排查是否有任何已知事件可能导致服务中断或影响实例指标,例如,由于正在进行的事件导致云监控中的网络指标增加。 使用云监控或其他应用程序性能监控工具将记录的应用程序的性能基线指标与当前异常指标进行对比,判断是否存在异常行为。 确定存储在ECS实例、OBS桶或其他存储中的数据的分类级别。 请确保已为该事件创建工单。如果未创建,请手动创建一个。 如果为已有工单,请确定当前指示问题的告警或指标是什么。 如果工单是由告警或指标触发自动生成的工单,可明确其自动生成工单的什么的原因;如果工单非自动生成,则记录导致识别问题的告警或通知。确认服务中断是由已知事件还是其他原因造成的,如果不能判断,则记录攻击的实际媒介。 使用日志搜索来确定勒索攻击发生的时间。 可以使用华为云 云审计 服务(Cloud Trace Service)服务,它提供对各种云资源操作记录的收集、存储和查询功能。 确定并记录对最终用户的影响及其体验。 如果用户受到影响,请在工单中记录导致攻击事件的详细步骤,以帮助识别攻击媒介并制定适当的缓解策略。 根据您企业/组织的事件响应计划确定事件涉及的角色。通知相关角色,包括法务人员、技术团队和开发人员,并确保他们被添加到工单和WarRoom中持续响应该事件。 确保您的组织的法律顾问了解并参与到事件的内部响应和外部沟通中,并将负责公共或外部沟通的同事添加到工单中,以便他们能够及时履行其沟通职责。如果地方或联邦法规要求报告此类事件,请通知有关当局,并向其法律顾问或执法部门寻求关于收集证据和保存监管链的指导。如果法规没有要求,向开放数据库、政府机构或非政府组织报告此类事件也可能有助于推进响应此事件。 控制事件。 尽早检测异常用户行为或网络活动是减少勒索软件事件影响的关键。可以参考以下步骤来帮助您控制事件。如果以下步骤适用,请与您的企业/组织的法律和合规团队合作,采取任何必要的响应措施,并继续进行事件响应流程。 确定攻击事件中涉及的勒索软件的类型。常见的勒索软件类型如下: 加密勒索软件:加密文件和对象。 锁定勒索软件:锁定对设备的访问。 其他类型:新类型或以前未记载的类型。 受攻击影响的工作负载,对于已识别出的与其相关联的华为云资源,可以通过修改安全组、OBS桶策略或相关身份和访问管理策略来隔离网络或互联网连接,以最大限度地减少感染传播的机会,或最大限度地减少攻击者访问这些资源的机会。 请注意,由于连接跟踪,有时修改安全组可能不会达到预期效果。 评估ECS实例是否需要恢复。如果该实例属于弹性伸缩组,则请从组中移除该实例。此外,如果事件与主机操作系统中的漏洞有关,请更新系统并确保已修补漏洞。 通过云审计服务查看操作日志,查看是否存在未经授权的活动,例如,创建未经授权的 IAM 用户、策略、角色或临时安全凭证。如果有,请删除任何未经授权的IAM用户、角色和策略,并撤销所有临时凭据。 如果攻击媒介是由未修补的软件、操作系统更新、过期的恶意软件或防病毒工具造成的,请确保所有ECS实例都更新到最新版本的操作系统,所有软件包和补丁程序都是最新的,并且所有ECS实例上的病毒特征码和定义文件都是最新的。您可以通过如下方式进行处理:针对可变架构,请立即进行修补;针对不可变架构,请进行重新部署。 根据5中的更新,删除被识别为有感染风险的所有剩余资源(可能访问了下载勒索软件的同一媒介,无论是通过电子邮件、访问受感染的网站,还是其他方式)。对于通过弹性伸缩管理的资源,重点识别攻击媒介,并采取措施防止其他资源通过同一媒介受到感染。 消除事件。 评估事件的影响是否仅限于环境的特定部分。如果能从备份或快照中恢复被勒索的数据,请参考备份或快照进行恢复。 请注意,在隔离的环境下调查事件以进行根本原因分析,对于实施控制措施以防止将来发生类似事件具有极大价值。 考虑使用最新的防病毒或防恶意软件来消除勒索软件。 请谨慎此操作,因为此操作可能会向攻击者发出警报。建议在隔离的取证环境中查看被锁定或加密的对象,例如,从受感染的ECS实例中删除网络访问权限。 删除在取证分析过程中识别到的所有恶意软件,并识别入侵指标。 如果已确定勒索软件毒种,请检查是否有可用的第三方解密工具或其他可能有助于解密数据的在线资源。 从事故中恢复。 确定从备份执行的所有还原操作的还原点。 查看备份策略,以确定是否可以恢复所有对象和文件,这取决于在资源上应用的生命周期策略。 从您的备份恢复数据或恢复到ECS实例卷的较早快照。使用取证方法验证数据是安全的。确保所有攻击媒介都被识别和解决。 如果您已成功使用任何开源解密工具恢复数据,请从实例中删除该数据,并执行必要的分析以确认数据是安全的。然后,恢复实例,终止或隔离实例并创建新的实例,并将数据还原至新实例中。 如果从备份恢复或解密数据都不可行,请评估在新环境中重新开始的可能性。 事故后活动。 将在模拟和现场事件中吸取的经验教训记录并应用到后续的流程和程序中,可以使受害方更好地了解事件是如何在系统配置和流程中发生的(例如,哪里存在弱点、哪里的自动化可能出现故障、哪里缺乏可见性),以及如何加强其整体安全态势。 如果您已经确定了最初的攻击媒介或进入点,请如何降低风险再次发生的最佳方法。 例如,如果恶意软件最初通过一个未修补的面向公众的ECS实例进入,并且您已将缺失的补丁程序应用于所有当前实例,请考虑如何改进补丁程序管理流程,旨在更快速和一致地测试和应用补丁程序,以防止将来出现类似问题。 如果您已经制定了解决特定威胁的技术步骤,请评估当检测到相关威胁时自动执行这些步骤的几率。使用自动化处理,可以帮助更快地减轻威胁,从而最大限度地减少影响的范围和严重性。 向响应过程中的所有角色收集其获得的经验教训,并根据需要更新您的事件响应计划、灾难恢复计划和本响应方案。同时,酌情考虑和资助新的技术能力和人员技能,以弥补已发现的差距。
  • 剧本说明 攻击者攻击 域名 成功之后会对后端服务器进行攻击,因此针对此链路攻击的路径, 安全云脑 提供了攻击链路分析告警通知剧本。当攻击者通过层层攻击到主机之后,进行告警,通知运营人员进行处置。 “攻击链路分析告警通知”剧本已匹配“攻击链路分析告警通知”流程,该流程需要使用 消息通知 服务(Simple Message Notification, SMN )来创建安全云脑告警通知主题,并完成订阅即可接收到告警通知。 “攻击链路分析告警通知”流程是通过资产关联,查询对应HSS告警影响资产所关联的网站资产列表,流程预置默认查询最多3条网站资产。 如果有关联网站资产,则每条网站资产查询3小时前到现在这个时间段内对应的WAF告警数据(告警类型为XSS、SQL注入、命令注入、本地文件包含、远程文件包含、Webshell、漏洞攻击),同样的,最多查询3条告警数据。 如果有对应WAF告警,则将WAF告警数据与本条HSS告警数据进行关联,并通过消息通知服务(Simple Message Notification,SMN)通知到邮箱。 图1 攻击链路分析告警通知流程
  • 剧本说明 安全云脑提供的HSS文件隔离查杀剧本,自动隔离查杀恶意软件。 “HSS文件隔离查杀”剧本已匹配“HSS文件隔离查杀”流程, “HSS文件隔离查杀”流程是通过HSS恶意文件隔离查杀进行恶意软件和勒索软件告警处置。 当资产HSS版本为专业版或者高于专业版但未开启自动隔离查杀,进行人工判断,人工审核需要进行隔离查杀,则通过HSS文件隔离查杀进行告警处置,隔离成功,关闭告警。隔离失败,添加需要手动处理的评论。 图1 HSS文件隔离查杀流程
  • SecMasterBiz插件说明 SecMasterBiz插件是自动更改告警名称流程中的一个插件,用于分析处理webshell类型告警的名称数据,可以按照用户自定义维度拼接告警名称,返回更新后的告警名称。 SecMasterBiz插件包含多个Action,其中,“changeWebshellAlertName” Action提供了几个入参供用户自定义选取,每个入参代表一个分析维度。 用户根据需要选择不同的维度参数对进行告警名称进行拼接,没有选中的参数,默认不返回该维度数据。填入y表示yes,即选择该参数;填入n表示no,或者保持为空,都表示不选择该参数。 表1 参数配置说明 参数名称 参数含义 取值范围 severity 告警严重程度 y/n createTime 告警创建时间 y/n srcIp 告警攻击源IP y/n sourceCountryCity 告警攻击源国家和城市 y/n destinationIp 告警攻击目标IP y/n destinationCountryCity 告警攻击目标国家和城市 y/n
  • 解决方法 以下步骤中的命令是以CentOS、Red Hat、Oracle Enterprise Linux、SUSE、Euler OS、Fedora或OpenSUSE系统为例,其他操作系统执行命令可参考挂载NFS文件系统到云服务器(Linux)。 登录云服务器,查看nfs-utils是否已安装。执行如下命令,如果没有结果表示未安装。 rpm -qa|grep nfs 图1 查看是否已安装软件包 执行如下命令,安装nfs-utils软件包。 yum -y install nfs-utils 图2 执行安装命令 图3 安装成功 重新执行挂载命令。将文件系统挂载到云服务器上。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 挂载地址 本地路径 挂载完成后,执行如下命令,查看已挂载的文件系统。 mount -l 如果回显包含如下类似信息,说明挂载成功。 example.com:/share-xxx on /local_path type nfs (rw,vers=3,timeo=600,nolock,addr=)
  • 请求消息 表2 请求参数 参数 是否必选 参数类型 描述 reboot 是 Object 标记为重启云主机操作,详情请参见表3。 表3 reboot字段数据结构说明 参数 是否必选 参数类型 描述 type 是 String 重启类型: SOFT:普通重启。 HARD:强制重启。 servers 是 Array of objects 云主机ID列表,详情请参见表4。 表4 servers字段数据结构说明 参数 是否必选 参数类型 描述 id 是 String 云主机ID。
  • 请求消息 表2 请求参数 参数 是否必选 参数类型 描述 os-start 是 Object 标记为启动云主机操作,详情请参见表3。 表3 os-start字段数据结构说明 参数 是否必选 参数类型 描述 servers 是 Array of objects 云主机ID列表,详情请参见表4。 表4 servers字段数据结构说明 参数 是否必选 参数类型 描述 id 是 String 云主机ID。
  • 请求消息 表2 请求参数 参数 是否必选 参数类型 描述 os-stop 是 Object 标记为关闭云主机操作,详情请参见表3。 表3 os-stop字段数据结构说明 参数 是否必选 参数类型 描述 servers 是 Array of objects 云主机ID列表,详情请参见表4。 type 否 String 关机类型,默认为SOFT: SOFT:普通关机(默认)。 HARD:强制关机。 表4 servers字段数据结构说明 参数 是否必选 参数类型 描述 id 是 String 云主机ID。
  • URI GET /v1/{project_id}/cloudservers/detail?flavor={flavor}&name={name}&status={status}&limit={limit}&offset={offset}¬-tags={not-tags}&reservation_id={reservation_id}&enterprise_project_id={enterprise_project_id}&tags={tags}&ip={ip} 参数说明请参见表1。 表1 路径参数 参数 是否必选 描述 project_id 是 项目ID。 获取方法请参见获取项目ID。 表2 查询参数 参数 是否必选 参数类型 描述 offset 否 Integer 页码。 当前页面数,默认值为1,取值范围大于等于0。 当取值为0时,系统默认返回第1页,与取值为1时相同。 建议设置该参数大于等于1。 flavor 否 String 云主机规格ID。 name 否 String 名称,匹配规则为模糊匹配。 支持特殊字符,例如,"." 匹配除换行符(\n、\r)之外的任何单个字符,相等于 [^\n\r]。 status 否 String 云主机状态。 取值范围: ACTIVE、BUILD、ERROR、HARD_REBOOT、MIGRATING、REBOOT、REBUILD、RESIZE、REVERT_RESIZE、SHUTOFF、VERIFY_RESIZE、DELETED、SHELVED、SHELVED_OFFLOADED 、UNKNOWN 状态说明请参考云服务器状态。 说明: 当处于中间状态时,查询范围如下: ACTIVE,查询范围:ACTIVE,REBOOT,HARD_REBOOT,REBUILD,MIGRATING、RESIZE SHUTOFF,查询范围:SHUTOFF,RESIZE,REBUILD ERROR,查询范围:ERROR,REBUILD VERIFY_RESIZE,查询范围:VERIFY_RESIZE,REVERT_RESIZE limit 否 Integer 查询返回列表当前页面的数量。 每页默认值是25,最多返回1000台的信息,如果数据量过大建议设置成100。 tags 否 String 查询tag字段中包含该值的。 not-tags 否 String 查询tag字段中不包含该值的。 示例:查询的列表中不包含裸金属服务器,该字段设置如下:not-tags=__type_baremetal reservation_id 否 String 使用Openstack Nova 接口批量创建时,会返回该ID,用于查询本次批量创建的。 enterprise_project_id 否 String 查询绑定某个企业项目的。 若需要查询当前用户所有企业项目绑定的,请传参all_granted_eps。 说明: 查询的企业项目需具备ecs:cloudServers:list的权限。 如果用户只有某个企业项目的权限,则需要传递该参数,查询指定企业项目绑定的,否则会因权限不足而报错。 当前all_granted_eps支持查询的企业项目个数不超过100。 ip 否 String IPv4地址过滤结果,匹配规则为模糊匹配。 此处IP为的私有IP。 ip_eq 否 String IPv4地址过滤结果,匹配规则为精确匹配。 此处IP为云主机的私有IP。 server_id 否 String 云主机ID,格式为UUID,匹配规则为精确匹配 示例:server_id={id1}&server_id={id2} 说明: 在使用server_id作为过滤条件时,不能同时使用其他过滤条件。如果同时指定server_id及其他过滤条件,则以server_id条件为准,其他过滤条件会被忽略 当server_id中含有不存在的云主机ID时,返回的响应参数中该云主机ID对应的servers结构体中除了id和fault其它字段均为null 为了避免API的URI过长,建议一次查询的server_id个数不超过100个
  • 概述 欢迎使用Flexus应用服务器 L实例 。Flexus应用服务器L实例是新一代开箱即用、面向中小企业和开发者打造的全新轻量级云服务器产品系列。Flexus应用服务器L实例提供丰富严选的应用镜像,实现应用一键部署,适用于网站搭建、开发测试环境、企业应用、网站分析、音视频服务等中低负载场景。具有易搭建、更实惠、易维护、更安全的特点。 本文介绍Flexus应用服务器L实例API的描述、语法、参数说明及示例等内容。 在调用Flexus应用服务器L实例API之前,请确保已经充分了解Flexus应用服务器L实例相关概念,详细信息请参见什么是Flexus应用服务器L实例。 在Flexus应用服务器L实例文档中,“Flexus应用服务器L实例”简称为“Flexus L实例”。
  • 接口约束 使用此API,需预先安装重置密码插件。 Flexus L实例提供的系统镜像、应用镜像默认已安装重置密码插件。 如果私有镜像的镜像源来自其他云平台的服务器或从第三放下载,此类私有镜像可能因为未安装一键式密码重置插件而无法重置密码。请根据重置Linux云服务器云主机密码(未安装重置密码插件)安装插件。 云主机的重置密码请求下发后,脚本执行失败,该API不会报错。 云主机开机或重启后,新密码生效。 该接口支持虚拟机状态为开机或者关机状态下执行。
  • 请求消息 请求参数如表2 请求参数所示。 表2 请求参数 参数 参数类型 是否必选 描述 new_password String 是 新密码。 当dry_run字段为true时,该字段为非必填字段,否则为必填字段。 新密码的校验规则: 长度为8-26位。 密码至少必须包含大写字母(A-Z)、小写字母(a-z)、数字(0-9)和特殊字符(!@%-_=+[]:./?)中的三种。 密码不能包含用户名或用户名的逆序。 Windows系统密码不能包含用户名或用户名的逆序,不能包含用户名中超过两个连续字符的部分。 dry_run Boolean 否 是否只预检此次请求。取值为true或false,默认值为false。 true:发送检查请求,不会重置密码。检查项包括是否填写了必需参数、请求格式、业务限制。如果检查不通过,则返回对应错误。如果检查通过,则返回响应结果。 false:发送正常请求,通过检查后并且进行重置密码请求。 servers Array of objects 是 待批量重置密码的云主机ID信息,详情参见表3 servers字段数据结构说明。 表3 servers字段数据结构说明 参数 是否必选 参数类型 描述 id 是 String 云主机ID。
  • API概览 Flexus L实例是包含了云主机、弹性公网IP、云硬盘、云备份、主机安全、Flexus负载均衡的组合服务,云主机是Flexus L实例中的服务器。 本节介绍Flexus L实例云主机部分常用API接口。在使用API前,请先了解如何调用API以便顺利使用API。 表1 接口说明 接口 说明 查询云主机详情 查询云主机的详细信息,包括云主机的运行状态、云主机名称、公网IP等。 批量启动云主机 根据指定的云主机ID列表,批量开机云主机。 批量重启云主机 根据指定的云主机ID列表,批量重启云主机。 批量关闭云主机 根据指定的云主机ID列表,批量关机云主机。 批量重置云主机密码 批量重置云主机管理账号(root用户或Administrator用户)的密码。 修改云主机信息 修改云主机信息,目前支持修改云主机名称及描述和hostname。
  • 规则详情 表1 规则详情 参数 说明 规则名称 sfsturbo-last-backup-created 规则展示名 SFS Turbo资源的备份时间检查 规则描述 SFS Turbo资源最近一次备份创建时间超过参数要求,视为“不合规”。 标签 cbr、sfsturbo 规则触发方式 周期触发 规则评估的资源类型 sfsturbo.shares 规则参数 lastBackupAgeValue:SFS Turbo要求的备份时间间隔(以小时为单位)。
  • 支持标签的云服务和资源类型 当前华为云大部分云服务资源均支持添加标签,但部分云服务资源(如OBS桶)的标签信息暂未上传至Config服务,因此无法在Config服务中使用标签相关的能力,例如无法在“资源清单”页面通过标签搜索到相应资源,或无法使用涉及标签场景的资源合规规则等。 当前已对接Config且支持标签的云服务和资源类型如下表所示: 表1 支持标签的云服务和资源类型 服务 资源类型 VPC终端节点 VPCEP 终端节点(vpcep.endpoints) 终端节点服务(vpcep.endpointServices) 数据复制服务 DRS 实时同步任务(drs.synchronizationJob) 实时迁移任务(drs.migrationJob) 实时灾备任务(drs.dataGuardJob) 数据订阅任务(drs.subscriptionJob) 备份迁移任务(drs.backupMigrationJob) 裸金属服务器 BMS 实例(bms.servers) 弹性云服务器 ECS 云服务器(ecs.cloudservers) 云耀云服务器 HECS 实例(hecs.hcloudservers) 虚拟私有云 VPC 虚拟私有云(vpc.vpcs) 弹性公网IP(vpc.publicips) 云硬盘 EVS 磁盘(evs.volumes) 弹性伸缩 AS 弹性伸缩组(as.scalingGroups) 镜像服务 IMS 镜像(ims.images) 分布式缓存服务 DCS Redis实例(dcs.redis) 节点(dcs.node) 云解析服务 DNS 公网Zone(dns.publiczones) 内网Zone(dns.privatezones) 虚拟专用网络 VPN VPN连接(vpnaas.vpnConnections) VPN网关(vpnaas.vpnGateways) 高性能弹性文件服务 SFS Turbo SFS Turbo(sfsturbo.shares) 弹性负载均衡 ELB 负载均衡器(elb.loadbalancers) 监听器(elb.listeners) 消息通知服务 SMN 主题(smn.topic) 分布式消息服务 DMS Kafka实例(dms.kafkas) Kafka节点(dms.kafka_nodes) RabbitMQ实例(dms.rabbitmqs) Rabbitmq节点(dms.rabbitmq_nodes) RocketMQ实例(dms.reliabilitys) 云数据库 RDS 实例(rds.instances) 节点(rds.nodes) MapReduce服务 MRS 弹性大数据服务(mrs.mrs) 数据仓库服务 DWS 集群(dws.clusters) 文档数据库服务 DDS 实例(dds.instances) 节点(dds.nodes) 云搜索服务 CSS 集群(css.clusters) NAT网关 NAT 公网NAT网关(nat.natGateways) 私网NAT网关 (nat.privateNatGateways) 云备份 CBR 存储库(cbr.vault) 数据加密 服务 DEW 密钥(kms.keys) 云容器引擎 CCE 集群(cce.clusters) 云数据库 GaussDB 实例(gaussdb.instance) 节点(gaussdb.nodes) 数据库安全服务 DBSS 实例(dbss.cloudservers) 内容分发网络 CDN 域名(cdn.domains) 云专线 DC 虚拟网关(dcaas.vgw) 链路聚合组(dcaas.lag) 虚拟接口(dcaas.vif) 物理连接(dcaas.directConnect) 数据库和应用迁移 UGO 对象评估任务(ugo.evaluationJob) 对象迁移任务(ugo.migrationJob) DDoS高防服务 AAD 实例(aad.instances) 云连接 CC 云连接(ccaas.cloud-connections) 带宽包(ccaas.bandwidth-packages) 云原生DDoS防护 CNAD 实例(cnad.instances) 企业路由器 ER 实例(er.instances) 连接(er.attachments) 云日志 服务 LTS 日志流(lts.topics) 设备接入 IoTDA 设备接入基础版(iotda.iotda) 设备接入企业版(iotda.iotda_instance) 设备接入标准版(iotda.iotda_standardinstance) 全球加速 GA 加速器实例(ga.accelerators) 开天集成工作台 MSSI 流(mssi.flow) 云堡垒机 CBH 云 堡垒机 实例(cbh.instance) 云防火墙 CFW 云防火墙实例(cfw.cfw_instance) 云监控服务 CES 告警规则(ces.alarms) API网关 APIG APIG专享版实例(apig.instances) 函数工作流 FunctionGraph 函数(fgs.functions) 分布式数据库 中间件 DDM 实例(ddm.instances) 节点(ddm.nodes) 湖仓构建 LakeFormation 实例(lakeformation.instance) 区块链 服务 BCS 华为云链(bcs.huaweicloudchain) 硬件开发工具链平台云服务 CraftArtsIPDCenter 产品数字化协同服务(ipdcenter.envs) 工业数字模型驱动引擎 iDME 数字化制造基础服务(idme.mbm) 数据建模引擎运行服务(idme.runtime) 云凭据管理服务 C SMS 凭据(csms.secrets) 工业仿真工具链云服务 CraftArtsSIM 工业仿真云平台(craftartssim.simSpace) 仿真求解计算(craftartssim.cpuUnit) 仿真前后处理计算(craftartssim.guiUnit) 私有证书管理 PCA 私有CA(pca.ca) 私有证书(pca.cert) 专属分布式存储服务 DSS 存储池(dss.dsspools) 专属主机 DeH 专属主机(deh.dedicatedhosts) 访问分析 AccessAnalyzer 访问分析器(accessanalyzer.analyzer) 父主题: 附录
  • 名词解释 对象存储服务 OBS:对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 ModelArts:ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。具体可参考: AI开发平台 ModelArts。
  • 快速卸载 为避免产生不必要的费用,通过此示例学习时序预测算法的使用后,您可以清除相关资源,避免造成资源浪费。 停止在线服务:在“在线服务”页面,单击对应服务操作列的“停止”。 图1 停止在线服务 终止训练作业:在“训练作业”页面,单击操作列的“终止”或者”删除”。 图2 训练作业 删除WorkfFlow:在该Workflow页面点击更多按钮,选择删除即可。 图3 删除WorkfFlow 删除数据:登录OBS控制台,删除上传的数据。 父主题: 实施步骤
  • 快速部署 本章节主要帮助用户快速部署“智能零售”解决方案。 配置节点 参数名称 类型 是否可选 参数解释 默认值 运行配置 output_dir string 必填 选择一个OBS空目录存储训练输出的模型 空 ad_products_data_source string 必填 选择广宣价签数据所在的OBS目录 空 sku_data_source string 必填 选择SKU数据所在的OBS目录 空 翻拍模型训练 data_url string 必填 翻拍模型输入的训练集OBS目录 空 eval_data_url string 必填 翻拍模型输入的验证集OBS目录 空 相似度模型训练 data_url string 必填 相似度模型输入的训练集OBS目录 空 eval_data_url string 必填 相似度模型输入的验证集OBS目录 空 SKU检测-发布标注任务 sku_model_dir-release_data_dataset_input string 必填 选择对应数据集及版本 空 切分检测数据集 sku_label_txt string 必填 标准标签名称列表文件 空 sku_synonym_tx string 必填 标签名称同义词映射表 空 场景识别模型训练 data_url string 必填 场景识别模型输入的数据集OBS目录 空 发布模型 swr_model_step_input string 必填 零售API使用的镜像地址 空 登录华为云解决方案实践,选择"零售行业AI巡店解决方案",单击“查看部署指南”可跳转至该解决方案部署指南界面。 图1 解决方案实践 图2 业务架构图 准备数据 1. 从AI Gallery下载零售体验数据集。 本示例使用AI Gallery中已有的数据集,您可以直接下载使用。 a. 打开零售体验数据集页面,单击“下载”。 b. 在“下载详情”页面,选择ModelArts数据集,并配置以下参数。 “目标区域”:选择“华北-北京四”。 “数据类型”:选择“图片”。 “数据集输出位置”: 在“请选择对象存储(OBS)路径”对话框中,选择准备工作中已创建的OBS桶,单击“创建文件夹”,创建一个命名为“retail”的文件夹,后再创建一个为“output”的子目录选择即可,此处的文件夹名称仅为举例,您可以自定义文件夹名称。 “数据集输入位置”: 在“请选择对象存储(OBS)路径”对话框中,选择准备工作中已创建的OBS桶,单击“创建文件夹”,创建一个命名为“retail”的文件夹,后再创建一个为“input”的子目录选择即可,此处的文件夹名称仅为举例,您可以自定义文件夹名称。 “名称和描述”:可根据实际情况填写,也可保持默认。 c. 单击“确定”,开始下载数据集至目标位置。 系统页面将自动跳转至“我的数据”页面,在“我的下载”页签下,可查看对应数据集的下载进度,数据集下载需要几分钟到十几分钟时间,请耐心等待。 2. (可选)使用自有数据。 如果您想使用自己的数据集,直接将数据上传至OBS文件夹中并使用数据管理创建相应的数据集。具体操作,请参见上传文件。 订阅Workflow 打开零售陈列workflow页面,单击“订阅”(注意:零售陈列workflow详参“智慧零售”,如需使用,请到立即咨询录入信息联系开通白名单)。 订阅完成后,单击“已订阅”旁的“运行”。 图3 零售陈列workflow 在弹出的“从AI Gallery导入工作流”对话框中配置一下参数。 “资产版本”:选择最新版本。 “云服务区域”:“华北-北京四”。 图4 配置参数 配置Workflow 登录ModelArts管理控制台,在控制台顶部区域下拉框中,选择“华北-北京四”。 在左侧导航栏,选择“Workflow”。 在Workflow列表中,单击Workflow所在行操作列的“配置”。 Workflow配置中各个节点的Workflow配置,请参见下表: 表1 Workflow配置信息表 配置节点 配置项 “运行配置” “output_dir”:选择一个OBS空目录存储训练输出的模型。 “data_source”:选择上一步骤下载的input路径即可。 “资源配置” 各个训练节点资源保持默认即可 “消息通知” 订阅消息使用消息通知服务,在事件列表中选择需要监控的节点和Workflow状态,在事件发生时发送消息通知。您可以根据实际情况设置是否打开开关,如果开启订阅消息,请根据实际情况填写如下参数。 “主题名”:订阅消息主题名称。您可以单击创建主题,在消息通知服务中创建主题。 “订阅对象”:单击“增加订阅消息”,选择你需要的“订阅对象”和“订阅事件”。 说明 使用订阅消息服务会产生相关服务费用,详细信息请参见资费说明。 如果您订阅了节点事件,同时也订阅了Workflow事件,消息通知会重复发送。 “是否训练翻拍模型” 本次教程案例不涉及翻拍,此处无需修改保持默认即可。 “翻拍模型训练” 本次教程案例不涉及翻拍,输入的三个目录参数选择任意三个OBS目录即可。 “是否训练相似度模型” 本次教程案例不涉及相似度,此处无需修改保持默认即可。 “相似度模型训练” 本次教程案例不涉及相似度,输入的两个目录参数选择任意两个OBS目录即可。 “是否训练价签模型” 本次教程案例不涉及价签识别,此处无需修改保持默认即可。 “发布标注任务版本” 本次教程案例不涉及价签识别,输入的数据集选择任意一个数据集和任意一个版本即可。 “价签检测模型训练” 本次教程案例不涉及价签识别,此处无需修改保持默认即可。 “是否训练SKU模型” 需要将is_sku_train的开关打开。 “sku检测模型训练” 保持默认即可。 “切分检测数据” 这一步骤需要配置的参数为label_txt,其是标准标签名称列表文件,即本次标注的数据集使用了哪几个类别,选择OBS目录下事先准备好的txt文件即可。 synonym_txt参数的配置在第一次使用过程中选择一个空的txt文件即可。 “裁剪训练图片” 保持默认即可。 “裁剪验证图片” 保持默认即可。 “裁剪背景图片” 保持默认即可。 “清洗分类数据” 保持默认即可。 “分类算法训练” 保持默认即可。 “分类精度验证” 保持默认即可。 “提取训练特征” 保持默认即可。 “提取验证特征” 保持默认即可。 “是否训练SKU场景识别模型” 本次教程案例不涉及场景识别,此处无需修改保持默认即可。 “场景识别模型训练” 本次教程案例不涉及场景识别,输入选择任意一个OBS目录即可 “推理编排脚本” 保持默认即可。 “发布模型” 选择零售工作流需要的容器镜像。 4. 完成以上节点参数配置后,在Workflow页面右上角单击“保存配置”。 启动Workflow 在Workflow页面右上角单击“启动”,自动跳转至工作流运行总览页面。 您可以在运行状态区域,查看节点的运行状态,节点运行成功后自动运行下一个训练节点。 部署服务的配置要在所有节点运行完成后,才能进行配置。“创建模型”节点运行成功后选择AI应用管理查看运行成功的AI应用。 针对该应用选择部署在线服务,运行部署服务,等待一段时间服务变为运行中: 父主题: 实施步骤
  • 资源和成本规划 该解决方案主要部署如下资源,以下花费仅供参考,具体请参考华为云官网价格详情,实际收费以账单为准: 表1 资源和成本规划 华为云服务 配置示例 每月预估花费 对象存储服务(多AZ存储) 按需计费(存储费用):0.139元/GB 按需计费(流量费用):0.5元/GB 按需计费(请求费用):0.01元/1W次 区域:华北-北京四 计费模式:按需计费 0.139 * 1024 + 0.5 * 100 + 0.01 * 1500 = 207.34元 ModelArts(计算型GPU(V100 NVLINK_32G)实例) 按需计费:28元/小时 区域:华北-北京四 计费模式:按需计费 规格:8核64GB(CPU), V100(GPU) 购买量:1 28 * 20 = 560元 ModelArts(计算型GPU(T4 8U32G) 实例) 包月:4569.2元/月 区域:华北-北京四 计费模式:按月计费 规格:8核23GB(CPU),T4(GPU) 购买量:2 4569.2 * 2 =9138.4元 合计 - 9,905.74元
  • 约束与限制 该解决方案部署前,需 注册华为账号 并开通华为云,完成实名认证,且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”,请确保账户余额充足以便一键部署资源的时候可以自动支付;或者在一键部署的过程进入费用中心,找到“待支付订单”并手动完成支付。 该方案图片数据的标注工作需要提前离线完成。 数据要求:针对SKU检测数据集,需要提前基于labelimg等画box框的方式提前完成,并上传至ModelArts数据管理服务创建好数据集。 卸载解决方案前,请先确保OBS桶中无数据,否则解决方案将卸载失败。 该解决方案暂时不支持OBS上传KMS加密文件。
  • 方案优势 丰富场景: 大模型图像匹配算法,更好适应门头文字遮挡、无牌匾、多门头混淆情况,精准识别翻拍(夜间、强光照等),批量货架重复检测,拦截跨店照片作弊行为等。 精准快速: 准确定位SKU位置信息(货架、堆头、端架、冰柜等),针对倾斜货架也能具备高识别率,图像和SKU匹配双核验重复检测,去重效果更好,新品SKU分钟级快速更新上线等 降本增效: 按需付费,用户只需花费少量成本,即可代替人工审核员审核访销数据,提升业务效率。
  • 应用场景 该解决方案有何用途? 华为云智能零售提供了一个开箱即用的零售企业智能巡店的解决方案。在零售行业,企业通过拜访全国各线下店铺,帮助企业洞察店面的开张、陈列、形象、活动等情况,从而保证产品陈列和⼴告宣传效果,支撑营销决策。 该解决方案能够助⼒零售⾏业数字化转型,提供更高效、便捷、准确、全⾯的巡店AI方案,极大降低人力成本,提升工作效率,有效防止作弊行为,精准完成产品盘点,保证宣传效果,抢占优质市场资源。 该解决方案包含了如下各种场景: 门店签到 陈列盘点 作弊检测
  • 方案架构 该解决方案基于华为云ModelArts搭建了一套端到端的智能零售工作流,考虑企业级客户的工业化部署使用,该解决方案支持定时调用功能与资源统一管理功能,整体架构 如图所示。 图1 方案架构图 该解决方案会部署如下资源: 创建1个对象存储服务OBS桶,用于存储AI算法训练需要的数据,线下收集的图像数据进行标注并上传到该OBS桶;同时该OBS桶也用来存储零售算法训练的结果文件,用于最终零售智能巡店服务的部署。 按需购买计算型GPU(V100 NVLINK_32G)实例,用于训练收集并标注好的零售数据。 创建1个计算型GPU(T4 8U32G) 实例,用于零售智能巡店服务的部署,该服务后续提供包括门店签到(门头照相似度判断)、货架陈列盘点(SKU识别+排面分析)、广宣识别、作弊检测(翻拍识别)等零售终端拜访业务。
  • 步骤1:查询用户的所有仓库 接口信息: URI:GET v2/projects/repositories API Explorer 在线调试请参见:查询用户的所有仓库。 请求示例: GET https://codehub-ext.cn-north-7.mytestcloud.com/v2/projects/repositories 响应示例: { "result": { "total": 40, "repositories": [ { "star": false, "status": 5, "userRole": null, "repository_uuid": "25c88b23d4dc400fa7b3e2a152e4d53c", "repository_id": 522140, "repository_name": "1111111111111", "ssh_url": "git@codehub.test.com:testzxq00001/1111111111111.git", "https_url": "https://codehub.test.com/testzxq00001/1111111111111.git", "group_name": "testzxq00001", "web_url": "https://test.com/codehub/522140/home", "visibility_level": 0, "created_at": "2020-07-22 10:45:56", "updated_at": "2020-07-22 10:45:56", "repository_size": "0.16M", "lfs_size": "0.00M", "creator_name": "devcloud_codehub_l00314597_01", "domain_name": "devcloud_codehub_l00314597_01", "is_owner": 1, "iam_user_uuid": "a618e34bd5704be3ae3395dfede06041", "project_uuid": "a689e057c2304abfa35d4ff65630a90a", "project_is_deleted": "false" } ] }, "status": "success"}
  • 步骤2:查询分支列表 接口信息: URI:GET v1/repositories/{repository_id}/branches API Explorer在线调试请参见: 查询某仓库对应的分支。 请求示例: GET https://codehub-ext.cn-north-7.mytestcloud.com/v1/repositories/522140/branches 响应示例: { "result": { "total": 1, "branches": [ { "name": "master", "is_protected": false } ] }, "status": "success" }
  • 步骤1:查询用户的所有仓库 接口信息: URI:GET v2/projects/repositories API Explorer在线调试请参见: 查询用户的所有仓库。 请求示例: GET https://codehub-ext.cn-north-7.mytestcloud.com/v2/projects/repositories 响应示例: { "result": { "total": 40, "repositories": [ { "star": false, "status": 5, "userRole": null, "repository_uuid": "25c88b23d4dc400fa7b3e2a152e4d53c", "repository_id": 522140, "repository_name": "1111111111111", "ssh_url": "git@codehub.test.com:testzxq00001/1111111111111.git", "https_url": "https://test.com/testzxq00001/1111111111111.git", "group_name": "testzxq00001", "web_url": "https://test.com/codehub/522140/home", "visibility_level": 0, "created_at": "2020-07-22 10:45:56", "updated_at": "2020-07-22 10:45:56", "repository_size": "0.16M", "lfs_size": "0.00M", "creator_name": "devcloud_codehub_l00314597_01", "domain_name": "devcloud_codehub_l00314597_01", "is_owner": 1, "iam_user_uuid": "a618e34bd5704be3ae3395dfede06041", "project_uuid": "a689e057c2304abfa35d4ff65630a90a", "project_is_deleted": "false" } ] }, "status": "success"}
  • 步骤2:查询仓库详情 接口信息: URI:GET v2/repositories/{project_uuid} API Explorer在线调试请参见: 查询某个仓库的详细信息。 请求示例: GET https://codehub-ext.cn-north-7.mytestcloud.com/v2/repositories/73de3f67b30a46a4a7305f3be980c3b1 响应示例: { "result": { "star": null, "status": null, "userRole": null, "repository_uuid": "25c88b23d4dc400fa7b3e2a152e4d53c", "repository_id": 522140, "repository_name": "1111111111111", "ssh_url": "git@codehub.test.com:testzxq00001/1111111111111.git", "https_url": "https://codehub.test.com/testzxq00001/1111111111111.git", "group_name": "testzxq00001", "web_url": "https://test.com/codehub/522140/home", "visibility_level": 0, "created_at": "2020-07-22 10:45:56", "updated_at": null, "repository_size": null, "lfs_size": null, "creator_name": null, "domain_name": null, "is_owner": null, "iam_user_uuid": null, "project_uuid": "a689e057c2304abfa35d4ff65630a90a", "project_is_deleted": "false" }, "status": "success" }
  • 处理方法 修改一键式重置密码插件参数。 执行以下命令查看配置文件。 vim /CloudResetPwdUpdateAgent/conf/wrapper.conf 图2 wrapper.conf修改前 将wrapper.java.initmemory=16和wrapper.java.maxmemory=64前的“#”去掉。 图3 wrapper.conf文件修改后 执行以下命令重启一键式重置密码插件。 cd /CloudResetPwdUpdateAgent/bin/ ./cloudResetPwdUpdateAgent.script restart
  • 场景一:用户1使用加密特性 在该用户组中,如果是用户1(拥有Security Administrator权限)首次使用加密特性,则操作流程如下: 创建Xrole,授权EVS访问KMS。 授权成功后,系统会为您创建默认密钥“evs/default”,此密钥用来加密云硬盘。 云硬盘的加密依赖KMS,首次使用加密特性时,需要授权EVS访问KMS。当授权成功后,用户组中的所有用户使用加密特性均无需再次进行授权操作。 选择密钥。 您可以选择使用的密钥如下: 默认密钥“evs/default”。 自定义密钥,即您在使用云硬盘加密功能前已经创建的密钥。 新创建密钥,创建方法请参见《数据加密服务用户指南》的“创建密钥对”章节。 用户1成功使用加密特性后,用户组中的所有用户都可以直接使用加密特性,无需再联系用户1获取权限。
共100000条