华为云用户手册

  • 应用场景 华为云可以为您提供丰富的解决方案,现以搭建网站业务为例介绍华为云的应用场景。 小型网站一般会部署在单台服务器上,用户对页面的访问,动静态内容的使用,数据库的使用和计算全部是在一台服务器上完成的。当网站业务发展到中型规模时,数据库的访问量剧增,单台服务器配置已不能满足业务要求,此时,可将数据库和网站程序分开部署在不同的服务器上分担性能压力。 本章节以搭建某论坛网站为例进行介绍,该论坛网站具体以下特点: 数据节点与业务节点分开部署在不同的服务器上。 可针对不同业务量动态调整服务器个数。 可自动将流量分发到多台服务器。 在Internet上可通过 域名 直接访问到该网站。
  • 安装SQL Server 双击“Setup.exe”文件,打开SQL Server安装向导。 图1 SQL Server安装向导 在“Installation”导航栏中,单击第一个选项进行安装。 图2 SQL Server安装选项 选择“Specify a free edition”,采用免费镜像模式进行安装。 若要正式搭建Sharepoint,需要输入密钥安装SQL Server完整版本。 图3 SQL Server免费镜像 勾选“I accept the license terms.”,单击“Next”。 图4 SQL Server License选项 Microsoft Updates、Install Rules、Setup Role等安装采用系统默认项安装,单击“Next”继续安装。 单击“Select ALL”选择安装全部功能,单击“Next”。 图5 SQL Server Feature Selection 勾选“Default instance”,使用默认值配置实例。 图6 配置SQL Server实例 设置SQL Server Configuration。 修改“SQL Server Database Engine”的“Account Name”为“NT AUTHORITY\NETWORK SERVICE”。 设置“SQL Server Analysis Services”为添加AD、DHCP、DNS、IIS服务中11~13设置的域账户及密码。 图7 配置SQL Server服务账户 单击“Add Current User”,将当前账号作为SQL Server的管理员账号,单击“Next”。 图8 添加SQL Server管理员账号 单击“Add Current User”,为当前账号添加Analysis Services的管理员权限,单击“Next”。 图9 添加SQL Server管理员账号2 设置Reporting Services Configuration为默认值,单击“Next”。 图10 设置Reporting Services Configuration 单击“Add Current User”,为当前账号添加Distribution Replay Controller service的权限,单击“Next”。 图11 设置Distribution Replay Controller 确认SQL Server配置,单击“Install”开始安装。 图12 SQL Server安装准备完成 单击“Close”,SQL Server安装完成。 图13 SQL Server安装完成 父主题: 搭建Microsoft SharePoint Server 2016
  • 方案 在已搭建的E CS 上通过配置内网DNS,由内网DNS解析OBS域名,即可实现在ECS上经由内网访问OBS。访问过程示意图如图1所示。 图1 内网访问OBS示意图 示意图中各服务说明如表1所示。 表1 服务说明 服务 说明 虚拟私有云(VPC) VPC主要负责为ECS构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云中资源的安全性,简化用户的网络部署。 子网是VPC中用来为ECS提供IP地址管理、DNS服务的一个网络,子网内ECS的IP地址都属于该子网。 云解析服务(DNS) DNS提供内网DNS,专门用于处理华为云内网域名以及OBS域名的解析请求,简化域名解析流程,减少因访问公网产生的流量费用。 对于Windows ECS,推荐使用OBS Browser+工具,实现内网访问OBS的目的,详细操作请参见: 在Windows ECS上使用OBS Browser+通过内网访问OBS 对于Linux ECS,推荐使用obsutil工具,实现内网访问OBS的目的,详细操作请参见: 在Linux ECS上使用obsutil通过内网访问OBS 当在ECS上通过内网访问OBS时,即可在内网进行数据读取、备份归档等业务,而不影响公网带宽。
  • 场景介绍 某企业基于弹性云服务器(Elastic Cloud Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的 云存储 服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负担。 在ECS上可以通过公网和华为云内网两种网络访问OBS。当有存取对象数据的需求时,公网方式响应速度会因为网络质量而受到影响,读取数据还将收取一定的流量费用。为最大化的优化性能、节省开支,企业管理者希望通过内网的方式访问OBS。 当通过内网访问OBS时,需要确保待访问的OBS资源与ECS属于同一个区域,如果不属于同一个区域,将采用公网访问。
  • 操作步骤 安装auditd 执行以下命令安装auditd工具。 yum install -y auditd* 首次安装auditd 后,审计规则默认为空,可通过sudo auditctl -l命令查询。 执行以下命令查看运行状态。 service auditd status 图1 运行状态 配置审计 规则 执行以下命令配置监控文件和目录的更改。 auditctl -w /etc/passwd -p rwxa 其中, -w path : 指定要监控的路径,上面的命令指定了监控的文件路径 /etc/passwd -p : 指定触发审计的文件/目录的访问权限 rwxa : 指定的触发条件,r-读取权限,w-写入权限,x-执行权限,a-属性 执行以下命令对/production目录的所有访问进行审计。 mkdir production auditctl -w /production/ 执行以下命令查看所有已配置的规则。 auditctl -l -w /etc/passwd -p rwxa -w /production -p rwxa 规则添加后,执行以下命令查看审计日志。 ausearch -f /etc/passwd 图2 审计日志 图2显示文件未被改动。其中各参数含义如下: time : 审计时间。 name : 审计对象 cwd : 当前路径 syscall : 相关的系统调用 auid : 审计用户ID uid 和 gid : 访问文件的用户ID和用户组ID comm : 用户访问文件的命令 exe : 上面命令的可执行文件路径 修改监控文件添加一个用户“test”。 useradd test 重新查看审计日志。 ausearch -f /etc/passwd 图3 查看变更后的审计日志 图3显示在指定的时间,/etc/passwd被root用户(uid=0, gid=0)在/root目录下修改。/etc/passwd文件是使用/usr/bin/sudo访问的。 此时,通过执行以下命令查看日志无内容。 ausearch -f /production 使用root账户修改目录权限,并重新查看审计日志。 chmod -R 777 /test/ ausearch -f /test/ 执行以下命令查看审计报告。 aureport 图4 查看审计报告 执行以下命令查看授权失败的详细信息。 aureport -au 图5 查看授权失败信息 执行以下命令查看所有账户与修改相关的事件。 aureport -m 图6 查看账户修改相关事件 (可选)执行以下命令清空定义的规则。 auditctl -D auditctl -l 图7 清空规则
  • auditd相关工具命令与配置文件 相关工具命令: auditctl : 即时控制审计守护进程的行为的工具,比如添加规则。 aureport : 查看和生成审计报告的工具。 ausearch : 查找审计事件的工具。 auditspd : 转发事件通知给其他应用程序,而不是写入到审计日志文件中。 autrace : 一个用于跟踪进程的命令。 相关配置文件: /etc/audit/auditd.conf : auditd工具的配置文件 /etc/audit/rules.d/audit.rules:包含审核规则的文件 /etc/audit/audit.rules : 记录审计规则的文件。
  • 安装Sharepoint 2016 打开镜像文件,双击准备工具的可执行文件,安装SharePoint 2016 准备工具。 图1 Sharepoint准备工具 打开Sharepoint准备工具的安装向导,单击“Next”。 图2 Sharepoint准备工具安装向导 勾选“I accept the terms of the License Agreement(s)”,接受License,单击“Next”。 图3 Sharepoint准备工具License Sharepoint准备工具安装完成,单击“Finish”重启系统。 图4 Sharepoint准备工具安装完成 双击安装文件,开始安装Sharepoint。 图5 安装Sharepoint 输入Sharepoint产品密钥,Sharepoint 180天试用版Key为“NQGJR-63HC8-XCRQH-MYVCH-3J3QR”。 图6 Sharepoint产品密钥 接受Licesen,单击“Continue”。 图7 Sharepoint License Terms 选择安装文件路径,采用默认值。 图8 Sharepoint安装文件路径 单击“Install Now”,开始安装。 Sharepoint安装完成,勾选“Run the Sharepoint Products Configuration Wizard now.”,在安装完成后运行Sharepoint产品配置向导。 图9 Sharepoint安装完成 父主题: 搭建Microsoft SharePoint Server 2016
  • 验证Sharepoint 2016 通过配置的Sharepoint管理中心的URL,打开SharePoint的管理中心。 图1 SharePoint管理中心 选择Sharepoint Farm的配置方法,本操作采用自主配置,单击“Cancel”。 若想要通过向导配置Sharepoint Farm,可以单击"Start the Wizard"。 图2 SharePoint Farm配置 在Sharepoint管理中心,单击“Create site collections”创建一个Sharepoint站点。 图3 创建Sharepoint站点 根据界面提示内容,设置Sharepoint站点参数。 图4 设置Sharepoint站点参数 创建Sharepoint Top-level站点成功,单击链接打开对应页面。 图5 创建SharePointTop-level站点成功 在打开的Sharepoint站点,您可以根据界面提示设计您的网页。 图6 Sharepoint验证 父主题: 搭建Microsoft SharePoint Server 2016
  • 资源和成本规划 表1 资源和成本规划 资源 资源说明 每月费用 虚拟私有云VPC VPC网段:192.168.0.0/16 免费 虚拟私有云子网 可用区:可用区1 子网网段:192.168.0.0/24 免费 安全组 入方向规则: 协议/应用:TCP 端口:80 源地址:0.0.0.0/0 免费 弹性公网IP 计费模式:包年/包月 线路:全动态BGP 带宽大小:1 Mbit/s 购买时长:1个月 具体的计费方式及标准请参考计费说明。 弹性云服务器 计费模式:按需计费 可用区:可用区1 规格:s3.medium.4 镜像:CentOS 系统盘:40G 数据盘:500G 所属VPC:VPC_DISCUZ 弹性公网IP:使用已有 ECS涉及以下几项费用: 云服务器 云硬盘 具体的计费方式及标准请参考计费模式概述。 计费模式:按需计费 可用区:可用区1 规格:s3.medium.4 镜像:CentOS 系统盘:40G 数据盘:100G 所属VPC:VPC_DISCUZ 弹性公网IP:暂不购买 弹性负载均衡 负载均衡器: 实例规格类型:共享型 计费模式:按需计费 弹性公网IP:使用已有 监听器: 前端协议:TCP 端口:80 后端服务器: 后端协议:TCP 分配策略类型:加权轮询算法 会话保持:开启 端口:80 具体的计费方式及标准请参考计费说明。 镜像服务 将弹性云服务器制作为系统盘镜像。 免费 弹性伸缩 伸缩配置: 计费模式:按需计费 配置模板:使用新模板 规格:s3.medium.4 镜像:私有镜像 弹性伸缩组: 可用区:可用区1 最大实例数:50 期望实例数:2 最小实例数:0 负载均衡:使用弹性负载均衡 健康检查方式:负载均衡健康检查 伸缩带宽策略: 触发条件:CPU使用率最大值大于70% 监控周期:5分钟 连续出现次数:3次 执行动作:增加1个实例 冷却时间:300秒 具体的计费方式及标准请参考计费标准。 域名注册服务 用于访问搭建的Discuz论坛网站。 域名的价格以域名注册商所示为准,请参考域名注册商帮助文档。 如果您通过华为云的域名注册服务购买域名,具体的计费方式及标准请参考计费说明。 购买服务及配置特性时,操作步骤中未框选的配置项请保持默认值。 申请服务时,未开通企业管理的用户页面无“企业项目”参数项,无需进行配置。如需开通企业项目,请参考如何开通企业项目/企业多账号。 父主题: 搭建Discuz论坛网站
  • 迁移过程 根据实例当前所在可用区的销售策略,用户可以选择同可用区内规格变更和跨可用区迁移。 同可用区内规格变更 如果当前XEN实例使用的是Linux镜像,请参考XEN实例变更为KVM实例(Linux-自动配置)中的步骤3来进行规格变更。 如果当前XEN实例使用的是Windows镜像,请参考XEN实例变更为KVM实例(Windows)中的步骤4来进行规格变更。 跨可用区迁移 当前部分可用区已经进入存量经营阶段,如果当前XEN实例位于这些可用区,则建议将这些实例迁移到其他主流销售的可用区。跨可用区迁移的详细操作请参考小数量主机跨可用区迁移。 当前进入存量经营的可用区清单:华南-广州的可用区1
  • 迁移准备 如何判断是否在使用XEN实例 可以通过判断当前使用的规格名称,来确定自己是否在使用XEN实例。 当前XEN实例的规格名称包括:C1、C2、S1、M1、E1、E2、Et2、D1、H1、G1、G2型弹性云服务器。 需要迁移到什么规格 XEN实例的迁移规格建议如表1所示。 表1 迁移规格建议 当前规格 目标规格 C1、C2、S1 S6、S7 M1 M6、M7 E1、E2、Et2 E7 D1 D6、D7 H1 C6、C7 G1、G2 G6、P2s、Pi2 驱动安装 如果当前XEN实例使用的是Linux镜像,可参考以下方案中的步骤安装驱动。 XEN实例变更为KVM实例(Linux-自动配置)中的步骤1~步骤2 XEN实例变更为KVM实例(Linux-手动配置)中的步骤1~步骤3 XEN实例变更为KVM实例(Linux-批量自动配置)中的步骤1~步骤2 如果当前XEN实例使用的是Windows镜像,可参考以下方案中的步骤安装驱动。 XEN实例变更为KVM实例(Windows)中的步骤1~步骤3
  • 应用场景 Extundelete是一款文件恢复工具,支持恢复ext3及ext4文件系统类型的误删除文件。 误删除文件的恢复程度与如下因素有关: 文件删除后是否被写覆盖 元数据是否存留在journal 如果误删除的数据位于系统盘,且一直有业务进程或系统进程在写入文件,则可能无法通过此方法进行恢复。 为了提高数据安全性,建议您通过创建快照、创建私有镜像、创建云硬盘备份等方式定期进行数据备份。 本文以操作系统为CentOS 7.5的云服务器为例,介绍如何使用开源工具Extundelete快速恢复被误删除的数据。
  • 实施步骤 安装Extundelete。 登录弹性云服务器。 依次执行以下命令,安装 Extundelete 所需依赖及库。 yum install libcom_err e2fsprogs-devel yum install gcc gcc-c++ 在出现如下提示时,输入“y”。 Installed size: 25 M Is this OK [y/d/N]: y 执行以下命令,下载 Extundelete 源码。 wget https://github.com/curu/extundelete/archive/refs/tags/v1.0.tar.gz 执行以下命令,解压 v1.0.tar.gz 文件。 tar xf v1.0.tar.gz 依次执行以下命令,进行编译安装。 cd extundelete-1.0 ./configure make 执行以下命令,进入 src 目录,可查看已编译好的 Extundelete 文件。 cd ./src 执行以下命令,尝试恢复数据。 ./extundelete --restore-all /dev/对应盘 恢复后的文件位于同级目录的“RECOVERED_FILES”文件夹下。
  • 优化顾问服务权限 默认情况下,新建的 IAM 用户没有任何权限,需要将其加入用户组,并给用户组授予策略,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对ECS服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。 多数细粒度策略以API接口为粒度进行权限拆分,OA服务支持的API授权项请参见策略及授权项说明。 如表1所示,包括了优化顾问服务的所有系统策略。 表1 优化顾问服务系统策略 策略名称 描述 依赖关系 策略类别 OA FullAccessPolicy 优化顾问服务所有权限。 无 系统策略 OA AdvancedOperationsPolicy 优化顾问服务的高级操作权限, 如执行可用性检查等,可以使用跨账号可用性检查功能 无 系统策略 OA CommonOperationsPolicy 优化顾问服务的常规操作权限, 如执行可用性检查等,但不能使用跨账号可用性检查功能。 无 系统策略 OA ReadOnlyAccessPolicy 优化顾问服务只读权限,只能查看检查结果、查看资源分组等,不能创建或执行。 无 系统策略 表2列出了优化顾问服务常用操作与系统策略的授权关系,您可以参照该表选择合适的系统策略。 表2 授权关系 功能 操作 OA FullAccessPolicy OA AdvancedOperationsPolicy OA CommonOperationsPolicy OA ReadOnlyAccessPolicy 风险检查总览 查看风险检查结果总览 √ √ √ √ 打开/关闭自动检查 √ √ √ × 查看通知主题 √ √ √ √ 选择账号 √ √ × × 执行检查 √ √ √ × 下载风险检查结果报告 √ √ √ √ 风险检查维度 查看风险检查维度 √ √ √ √ 查看单个检查项结果详情 √ √ √ √ 执行单个检查项检查 √ √ √ × 下载单个检查项结果报告 √ √ √ √ 架构设计 查看架构图列表 √ √ √ √ 查看回收站架构图列表 √ √ √ √ 查看回收站架构图详情 √ √ √ √ 恢复回收站架构图 √ √ √ × 删除回收站架构图 √ √ √ × 新建架构图 √ √ √ × 重命名架构图 √ √ √ × 导出架构图 √ √ √ √ 复制架构图 √ √ √ × 删除架构图 √ √ √ × 开启容量风险监控 √ √ √ × 查看架构图详情 √ √ √ √ 编辑架构图 √ √ √ × 查看架构图编辑历史列表 √ √ √ √ 查看架构图编辑历史详情 √ √ √ √ 恢复历史架构图 √ √ √ × 删除架构图编辑历史记录 √ √ √ × 查看图元全链路 √ √ √ √ 查看已选资源清单 √ √ √ √ 导出已选资源清单 √ √ √ √ 图元绑定资源 √ √ √ × 容量优化 查看容量优化分析结果概要信息 √ √ √ √ 查看容量优化分析结果详情列表 √ √ √ √ 删除容量优化分析结果列表数据 √ √ √ × 查看容量优化分析结果详情监控 √ √ √ √ 执行重新识别 √ √ √ × 执行停止分析 √ √ √ × 导出容量优化分析报告 √ √ √ √ 查询容量优化分析配置 √ √ √ √ 修改容量优化分析配置 √ √ √ × 查询容量优化分析报告列表 √ √ √ √ 删除容量优化分析报告 √ √ √ × 资源分组 查看资源分组列表 √ √ √ √ 查看资源分组详情 √ √ √ √ 修改资源分组 √ √ √ × 删除资源分组 √ √ √ × 新增资源分组 √ √ √ × 查看资源列表 √ √ √ √ 月度服务报告 查看月度报告列表 √ √ √ √ 查看月度报告详情 √ √ √ √ 导出月度报告 √ √ √ √ 风险检查历史 查看风险检查报告列表 √ √ √ √ 查看风险检查结果详情 √ √ √ √ 导出风险检查报告 √ √ √ √ 自定义规则 查看检查项列表 √ √ √ √ 启动检查项 √ √ √ × 停用检查项 √ √ √ × 恢复初始配置 √ √ √ × 自定义配置 √ √ √ × 授权 查看用户授权列表 √ √ √ √ 关闭/开启授权 √ × × × 关闭服务 √ × × ×
  • 示例流程 图1 给用户授权OA权限流程 在IAM控制台创建用户组,并授予优化顾问服务权限“OA FullAccessPolicy”、“OA AdvancedOperationsPolicy”、“OA CommonOperationsPolicy”、“OA ReadOnlyAccessPolicy”,推荐授予OA FullAccessPolicy权限。 以上权限为优化顾问服务的全部权限,如您期望更精细化的优化顾问服务功能的权限,请参见:权限管理,对用户组授予对应权限。 创建用户 在IAM控制台创建用户,并将其加1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,验证优化顾问服务的“OA FullAccessPolicy”权限。
  • 示例流程 图1 给用户授权OA权限流程 在IAM控制台创建用户组,并授予优化顾问服务权限“OA FullAccessPolicy”、“OA AdvancedOperationsPolicy”、“OA CommonOperationsPolicy”、“OA ReadOnlyAccessPolicy”,推荐授予OA FullAccessPolicy权限。 以上权限为优化顾问服务的全部权限,如您期望更精细化的优化顾问服务功能的权限,请参见:权限管理,对用户组授予对应权限。 创建用户 在IAM控制台创建用户,并将其加1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,验证优化顾问服务的“OA FullAccessPolicy”权限。
  • 基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在API凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域 指云资源所在的物理位置,同一区域内可用区间内网互通,不同区域间内网不互通。通过在不同地区创建云资源,可以将应用程序设计的更接近特定客户的要求,或满足不同地区的法律或其他要求。 可用区 一个可用区是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。 图1 项目隔离模型 Checkpoint:消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP:应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。 企业项目 企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中可以包含多个区域的资源,且项目中的资源可以迁入迁出。 关于企业项目ID的获取及企业项目特性的详细信息,请参见《企业管理服务用户指南》。 父主题: 使用前必读
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 - File 执行成功 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:8 最大长度:36 error_msg String 错误描述 最小长度:2 最大长度:512 状态码: 500 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:8 最大长度:36 error_msg String 错误描述 最小长度:2 最大长度:512
  • URI GET /v1/koosearch/repos/{repo_id}/structured-data/{file_id}/fails 表1 路径参数 参数 是否必选 参数类型 描述 repo_id 是 String 知识库ID,1~64个字符,只能包含数字、字母、中划线和下划线。 获取方式: 账号登录 KooSearch 体验平台,在左侧导航栏选择:"知识库管理" ,在此界面获取"知识库ID"字段的值,表示该知识库在向量数据库中存储的ID,具有唯一性 最小长度:1 最大长度:64 file_id 是 String 文件ID,1~64个字符,只能包含数字、字母、中划线和下划线。 最小长度:1 最大长度:64
  • 数据上传至OBS 在本文档中,采用管理控制台上传数据至OBS。 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与ModelArts在同一区域。 参考上传文件,将本地数据上传至OBS桶中。如果您的数据较多,推荐OBS Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。 在上传数据时,请选择非加密桶进行上传,否则会由于加密桶无法解密导致后期的训练失败。
  • 声音分类的数据要求 音频只支持16bit的WAV格式。支持WAV的所有子格式。 单条音频时长应大于1s,大小不能超过4MB。 适当增加训练数据,会提升模型的精度。声音分类建议每类音频至少50条,每类音频总时长至少5分钟。 建议训练数据和真实识别场景的声音保持一致并且每类的音频尽量覆盖真实环境的所有场景。 训练集的数据质量对于模型的精度有很大影响,建议训练集音频的采样率和采样精度保持一致。 标注质量对于最终的模型精度有极大的影响,标注过程中尽量不要出现误标情况。 音频标注涉及到的标注标签和声音内容只支持中文和英文,不支持小语种。
  • 数据上传至OBS 在本文档中,采用管理控制台上传数据至OBS。 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与ModelArts在同一区域。 参考上传文件,将本地数据上传至OBS桶中。如果您的数据较多,推荐OBS Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。 在上传数据时,请选择非加密桶进行上传,否则会由于加密桶无法解密导致后期的训练失败。
  • 自动学习功能介绍 ModelArts自动学习是帮助人们实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署。 当前自动学习支持快速创建图像分类、物体检测、预测分析、声音分类和文本分类模型的定制化开发。可广泛应用在工业、零售安防等领域。 图像分类:识别图片中物体的类别。 物体检测:识别出图片中每个物体的位置和类别。 预测分析:对结构化数据做出分类或数值预测。 声音分类:对环境中不同声音进行分类识别。 文本分类:识别一段文本的类别。文本分类目前只支持中文。 旧版自动学习仅支持使用旧版数据集功能,不支持使用新版数据集功能。
  • 部署上线 部署上线操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。 在“运行总览”页面中,待服务部署节点的状态变为“等待输入”,双击“服务部署”节点,进入配置详情页,完成资源的参数配置操作。 在服务部署页面,选择部署上线使用的资源规格。 AI应用来源:默认为生成的AI应用。 选择AI应用版本:自动匹配当前使用的AI应用版本,支持选择版本。 资源池:默认公共资源池。 分流:默认为100,输入值必须是0-100之间。 计算节点规格:请根据界面显示的列表,选择可用的规格,置灰的规格表示当前环境无法使用。如果公共资源池下规格为空数据,表示当前环境无公共资源。建议使用专属资源池,或者联系系统管理员创建公共资源池。 计算节点个数:默认为1,输入值必须是1-5之间的整数。 是否自动停止:启用该参数并设置时间后,服务将在指定时间后自动停止。如果不启用此参数,在线服务将一直运行,同时一直收费,自动停止功能可以帮您避免产生不必要的费用。默认开启自动停止功能,且默认值为“1小时后”。 目前支持设置为“1小时后”、“2小时后”、“4小时后”、“6小时后”、“自定义”。如果选择“自定义”的模式,可在右侧输入框中输入1~24范围内的任意整数。 如果您购买了套餐包,计算节点规格可选择您的套餐包,同时在“配置费用”页签还可查看您的套餐包余量以及超出部分的计费方式,请您务必关注,避免造成不必要的资源浪费。 完成资源配置后,单击“继续运行”,在弹框中确认继续运行后,服务部署节点将继续运行,直至状态变为“运行成功”,至此,已将AI应用部署为在线服务。
  • 服务测试 服务部署节点运行成功后,单击“实例详情”可跳转至对应的在线服务详情页面。单击“预测”页签,进行服务测试。 图1 服务测试 下面的测试,是您在自动学习文本分类项目页面将模型部署上线之后进行服务测试的操作步骤。 模型部署完成后,您可添加文本进行测试。在“自动学习”页面,选择目标项目,进入“部署上线”界面,选择状态为“运行中”的服务版本,在“服务测试”区域的文本框中,输入需测试的文本。 单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出测试结果。如模型准确率不满足预期,可在“数据标注”页签中添加数据并进行标注,重新进行模型训练及部署上线。预测结果中的参数说明请参见表1。如果您对模型预测结果满意,可根据界面提示调用接口访问在线服务。 表1 预测结果中的参数说明 参数 说明 predicted_label 该段文本的预测类别。 score 预测为此类别的置信度。 由于“运行中”的在线服务将持续耗费资源,如果不需再使用此在线服务,建议在版本管理区域,单击“停止”,即可停止在线服务的部署,避免产生不必要的费用。如果需要继续使用此服务,可单击“启动”恢复。 如果您启用了自动停止功能,服务将在指定时间后自动停止,不再产生费用。
  • 操作步骤 在新版自动学习页面,单击项目名称进入运行总览,单击“数据标注”节点的“实例详情”进入“数据标注”页面,完成数据标注。 图1 完成数据标注 返回新版自动学习页面,单击数据标注节点的“继续运行”,然后等待工作流按顺序进入训练节点。 模型将会自动进入训练,无需人工介入,训练时间相对较长,建议您耐心等待。如果关闭或退出此页面,系统仍然在执行训练操作。 在“文本分类”节点中,待训练状态由“运行中”变为“运行成功”,即完成模型的自动训练。 图2 运行成功 训练完成后,您可以单击文本分类节点上方的按钮,查看相关指标信息,如“准确率”、“评估结果”等。评估结果参数说明请参见表1。 图3 模型评估报告 表1 评估结果参数说明 参数 说明 recall:召回率 被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 precision:精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 accuracy:准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。 f1:F1值 F1值是模型精确率和召回率的加权调和平均,用于评价模型的好坏,当F1较高时说明模型效果较好。 同一个自动学习项目可以训练多次,每次训练生成一个版本。如第一次训练版本号为“0.0.1”,下一个版本为“0.0.2”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后,再执行部署上线的操作。
  • 添加或删除数据 自动学习项目中,数据来源为数据集中输入位置对应的OBS目录,当目录下的数据无法满足现有业务时,您可以在ModelArts自动学习页面中,添加或删除数据。 添加文件 在“未标注”页签下,可单击页面左上角的“添加数据”,您可以在弹出对话框中,选择本地文件上传。 上传文件格式需满足文本分类型的数据集要求。 删除文本对象 在“已标注”页签或“未标注”页签下,选中需要删除的文本对象,单击页面左上角的“删除”,在弹出的对话框中,确认删除信息后,单击“确定”。 在“已标注”页签下,您还可以勾选“选择当前页”,单击“删除”,即可删除当前页下所有的文本对象及其标注信息。
  • 修改标签 针对文本分类的自动学习项目,项目创建成功后,您可以根据业务变化,修改用于标注的标签。支持添加、修改和删除标签。 添加标签 在“未标注”页签下,单击“标签集”右侧的加号,在弹出“新增标签”对话框中,设置“标签名称”和“标签颜色”,然后单击“确定”完成标签添加。 修改标签 在“已标注”页签中“全部标签”的下方操作列,选择需要修改的标签,单击操作列的编辑图标,在弹出“修改标签”对话框中,修改“标签名称”或“标签颜色”,然后单击“确定”完成标签修改。 删除标签 在“已标注”页签中“全部标签”的下方,选择需要删除的标签,单击操作列的删除图标,在弹出“删除”对话框中,选择“仅删除标签”或“删除标签及仅包含此标签的标注对象”,然后单击“确定”完成标签删除。 所有的删除操作均不可恢复,请谨慎操作。
  • 创建项目 登录ModelArts管理控制台,在左侧导航栏单击“自动学习”,进入新版自动学习页面。 在您需要的自动学习项目列表中,单击“创建项目”,进入创建自动学习项目界面。 在创建自动学习项目页面,计费模式默认“按需计费”,参考表1填写相应参数。 表1 参数说明 参数 说明 “名称” 项目的名称。 名称只能包含数字、字母、下划线和中划线,长度不能超过64位且不能为空。 名称请以字母开头。 名称不允许重复。 “描述” 对项目的简要描述。 “数据集” 可在右侧下拉框选择已有数据集,或单击“创建数据集”前往新建数据集。 已有数据集:在“数据集”右侧的下拉框中选择,仅展示同类型的数据集供选择。 创建数据集:前往创建数据集页面创建一个新的数据集。具体操作请参考创建数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。 说明: “输出路径”是存储自动学习在运行过程中所有产物的路径。 “训练规格” 选择自动学习训练节点所使用的资源规格,以实际界面显示为准,将会根据不同的规格计费。 说明: 只有北京四区域支持限时免费规格。 如果您购买了套餐包,可优先选择您对应规格的套餐包,在“配置费用”处会显示您的套餐余量,以及超出的部分如何计费,请您关注,避免造成不必要的资源浪费。 单击“创建项目”,预测分析项目创建成功后页面自动跳转到“自动学习工作流”。 文本分类项目的工作流,将依次运行如下节点: 数据标注:对您的数据进行标注情况确认。 数据集版本发布:将已完成确认的数据进行版本发布。 数据校验:对您的数据集的数据进行校验,是否存在数据异常。 文本分类:将发布好的数据集版本进行训练,生成对应的模型。 模型注册:将训练后的结果注册到模型管理中。 服务部署:将生成的模型部署为在线服务。
  • 快速查找创建好的项目 在自动学习总览页,您可以通过搜索框,根据自动学习的属性类型(项目名称)快速搜索过滤到相应的工作流,可节省您的时间。 登录ModelArts管理控制台,在左侧导航栏选择自动学习,进入自动学习总览页面。 在自动学习列表上方的搜索框中,根据您需要的属性类型,例如,名称、状态、项目类型、当前节点、标签等,过滤出相应的工作流。 单击搜索框右侧的按钮,可选择自动学习的基础设置,需要的显示列。 表格内容折行:默认为关闭状态,启用此能力可让表格内容自动折行,禁用此功能可截断文本。 操作列:默认为关闭状态,启用此能力可让操作列固定在最后一列永久可见。 自定义显示列:默认所有显示项全部勾选,您可以根据实际需要定义您的显示列。 图1 表格显示设置 单击“确定”即可按照设置好的显示列进行显示。 同时可支持对自动学习项目显示页进行排序,单击表头中的箭头,就可对该列进行排序。
共100000条