云服务器内容精选

  • 操作步骤 在AutoML算子执行结果中,单击第一行模型对应“操作”列的“归档”,如图1所示。 图1 AutoML执行结果 界面新增“AutoML归档”算子内容。 参数配置说明如下所示,其余参数保持默认值即可。 推理入口:设置为“model_predict.py:predict_data”。 重训练入口:设置为“automl.py”,即7转换生成的文件。 单击“AutoML归档”代码框左侧的图标,完成模型归档。
  • 操作说明 当前已经准备好的4份数据集无法直接进行模型训练,需要经过数据处理后,才能使用。 操作过程如下所示: 创建开发环境:创建一个JupyterLab环境,用于数据处理操作。 创建算法工程:创建一个算法工程,依次对4份数据做相同的数据处理操作,并对应生成4份新数据。 数据分析:对新生成的4份数据,做数据分析操作。数据分析完成后,后面创建训练任务的时候,才能选到数据集的标签列failure。 如果需要了解开发环境的操作详情,可查看模型训练服务《用户指南》中的“开发环境”章节内容。
  • 创建开发环境 在Harddisk项目总览页面,单击左侧导航栏中的“开发环境”,进入“开发环境”界面。 说明:可以在模型训练服务首页,单击Harddisk项目名称,进入项目总览页面。 单击界面右上角的“创建开发环境”,弹出“创建开发环境”对话框。 需要配置参数“镜像类型”,从下拉框中选择“DataFlow”。其余参数保持默认值即可。 单击“OK”,当前界面新增dataflow开发环境行。 等待过程中,可以更新下浏览器页面。当开发环境状态从“创建中”变更为“运行中”,即开发环境创建完成。
  • 操作步骤 请检查当前项目是否已创建WebIDE开发环境。 如果没有,请参考创建WebIDE开发环境,创建WebIDE开发环境。 请检查模型包所在行,对应“开发环境”列,是否已选择WebIDE开发环境。 如果没有,请手工从下拉框中选择。 单击模型包所在行,对应“操作”列的“打开”,浏览器新增打开一个页面,进入WebIDE模型包编辑界面。 在左侧的文件目录中,展开模型包文件夹。双击待编辑文件,在右侧文件打开区域进行编辑。 图1为模型包编辑示例,图中①标识的是子模型包“retrain_stream_lw-1.0.0”对应目录,如果存在多个子模型包,会依次并列展示。当用户编辑文件且需要使用SDK能力时,需要在如图1所示的主算法文件“hardisk_detect.py”最前面,添加如下代码行: import osos.chdir('/home/ma-user/work/Model/retrain_stream_lw-1.0.0/retrain_stream_lw-1.0.0') 其中,“/home/ma-user/work/Model/retrain_stream_lw-1.0.0/retrain_stream_lw-1.0.0”为当前子模型包路径。获取方法为,右键如图1所示的子模型包目录,从下拉框中选择“Copy Path”,复制到文件中使用。 图1 模型包编辑样例 支持通过图形化编辑界面,修改模型包的元数据文件“metadata.json”内容。在文件目录中单击打开文件后,单击界面右上角的图标,在打开的图形化界面中,编辑修改文件内容。图形化界面仅支持配置部分元数据内容。如需修改全量内容,还是需要直接编辑文件本身。 “metadata.json”文件中的“package_scenario”字段表示模型包支持使用的业务场景,其值为八位四段的字符串,示例“01030100”。其中,第三段两位字符标识的是模型包类型。其取值对应的含义,如下所示: 01:模型包。 02:模板包。 03:初始包。初始包不能直接用于推理,需进行再训练。 (可选)如果需要从本地上传算法文件或者模型文件,可参考本步骤进行操作。 右键文件目录空白区域,展示的下拉菜单中还有很多选项,用户可根据实际情况选用,这里不再一一详述。 右键单击文件目录空白区域,选择“NAIE Upload”,界面右侧自动打开“NAIE Upload”页签。 请根据实际情况,配置如下参数: 上传类型:支持上传文件或文件夹,请根据实际情况选择。 路径:从本地选择相应的文件或者文件夹。 单击“上传”,完成上传。 可刷新左侧目录展示。 完成模型包编辑后,右键单击文件目录空白区域,选择“NAIE Package”。 将编辑修改后的内容,同步至已有模型包中。此步骤必须执行,否则模型包无法合入修改后的内容。
  • 任务管理 支持在任务管理界面创建模型训练任务,进行模型训练,生成模型,并将模型归档至模型管理界面,进行统一管理。 模型训练服务支持所有主流AI算法框架和华为自研AI算法框架,如:Tensorflow, MXNet ,Ray, Spark_MLlib,XGBoost-Sklearn,PyTorch、Ascend-Powered-Engine、MindSpore-GPU等。提供丰富的计算资源,包括CPU、GPU和华为Ascend自研芯片等,供用户进行模型训练。
  • 操作步骤 在重训练服务界面,单击重训练服务所在行,对应“操作”列的“详情”,进入重训练服务详情界面。 单击“重训练服务”下方的“创建重训练任务”,进入“创建重训练任务”界面。 参数配置说明,如表1所示。 表1 参数配置说明 参数 说明 任务名称 重训练任务名称。 描述 重训练任务描述。 数据集 配置重训练任务使用的数据集来源和数据文件路径。 方法 选择模型运行的主文件。 默认开启,且运行主文件默认为模型重训练文件,示例:automl_retrain.py。 运行参数 配置模型对外开放的可配置参数。 单击“增加”,可增加需要配置的运行参数;单击“删除”,删除无需配置的运行参数信息。 模型服务目录版本号更新 配置模型服务名称和对应的更新版本号。 自动打包 重训练任务执行完成后,是否自动打包为模型包。 默认开启。 单击“立即创建”,创建重训练任务。 支持对重训练任务做如下操作: 单击重训练任务所在行,对应“操作”列的“详情”,查看重训练任务详情、任务运行环境和系统日志。 单击重训练任务所在行,对应“操作”列的“下载日志”,将重训练任务日志下载至本地。 单击重训练任务所在行,对应“操作”列的“删除”,删除重训练任务。
  • 操作步骤 在模型训练服务首页,单击左侧导航栏中的“重训练”,进入重训练界面。 单击界面右上角的“创建重训练服务”,弹出“创建重训练服务”对话框。 参数配置说明,如表1所示。 表1 参数配置说明 参数 说明 服务名称 重训练服务名称。 描述 重训练服务描述。 模型包 单击“添加文件”,从本地选择模型包上传。 扩展参数 模型对外开放配置的参数。 示例:数据集文件路径名参数和具体的文件存放路径值。 单击“增加”,可以添加多个扩展参数。 单击“确定”,重训练服务创建完成。 支持对重训练服务做如下操作: 单击重训练服务所在行,对应“操作”列的“详情”,查看重训练服务详情、重训练任务列表。 单击重训练服务所在行,对应“操作”列的“删除”,删除重训练服务。
  • 创建自定义学件工程 在左侧导航栏中,单击“开发环境”,进入“开发环境”界面。 单击界面右上角的“创建开发环境”,弹出“创建开发环境”对话框。 参数配置说明如下所示: 镜像类型:从下拉框中选择“DataFlow”。 规格:保持默认值“2核|8G”。 实例:保持默认值“新建一个新环境”。 单击“OK”,开发环境界面新增一行开发环境信息。 等待约1至2分钟,开发环境的状态从“创建中”更新为“运行中”时,开发环境创建完成。可以刷新浏览器,及时更新查看环境创建进展。 单击开发环境所在行,对应“操作”列的“打开”。 浏览器新增打开一个页签,进入开发环境界面。 单击“LearnWare”下方的“自定义模板”,在弹出的“自定义模板”对话框中,输入“名称”,示例:custom。单击“OK”。 在左侧的目录导航栏中,新增“custom”目录,对应的子目录结构如下所示: naie_platform:NAIE SDK参数配置信息。 src:配置文件和代码文件存放目录,学件打包时会打包此目录。包含如下子目录: “config”目录:config目录中的文件“operators.json”为算子定义等配置信息。 “learnware_custom.py”文件:定义学件对象的样例文件,包括加载数据、数据预处理、模型训练和模型测试等算子。用户需要根据自定义学件的业务,输入相应算子的代码。 custom.ipynb:学件算法主文件。 requirements.txt:需要安装的算法依赖包列表。 父主题: 开发学件
  • 数据清洗算子能力概览 数据清洗算子能力介绍,如表1所示。 表1 数据清洗算子能力 算子名称 说明 去除空值 如果特征列中存在空值,执行“去除空值”算子,会删除空值行数据。操作请参考去除空值。 空值填充 如果用户可以根据特征等信息推断出空值处的实际值,则可通过“空值填充”算子,替换空值。操作请参考空值填充。 数据替换 如果特征列中的数据有误或者与用户的心理预期不符,可以通过“数据替换”算子,进行批量替换。操作请参考数据替换。 数据映射 已有特征列保持不变的情况下,将选中特征列数据,映射生成一个新特征列。 操作请参考数据映射。 数据过滤 如果数据存在误差,比如只能为正数的特征,存在负值,可通过“数据过滤”算子,将负值所在行过滤掉。操作请参考数据过滤。 去重 如果特征列中存在重复数据,可通过“去重”算子,删除重复的数据行。操作请参考去重。
  • 操作步骤 在模型训练服务首页,单击“创建项目”上方的“+”图标,进入“创建项目”界面。 配置“创建项目”界面参数,如表1所示。 表1 参数说明 分类 参数名称 参数说明 基本信息 项目名称 项目的名称。 只能以字母(A~Z a~z)开头,由字母、数字(0~9)、下划线(_)(-)组成,不能以下划线和中划线结尾,且长度为[2-32]个字符。 描述 项目描述信息。 字数不能超过500。 是否公开 是否公开项目。如果不勾选“公开项目”,则仅当前用户可见和使用。 公开至组 仅当“是否公开”勾选“公开项目”,才会展示“公开至组”。 默认展示当前用户所属的所有用户组,如果勾选用户组,则被勾选用户组下的所有用户均可以查看和编辑当前项目。 公开至用户 仅当“是否公开”勾选“公开项目”,才会展示“公开至用户”。 这里会自动展示用户所属Team或用户所属租户下面的所有用户,请根据实际情况,选择需要共享的用户。 图片上传 提供默认图标,也支持上传JPG或PNG格式的图标,推荐尺寸为72*72px。 类型 项目类型,请根据实际情况选择。 包括如下类型: 故障类 能源利用 资源利用 用户体验 其他 模板 已有网络领域经验的沉淀,复用已有的网络经验项目。 当前支持的模板为:KPI异常检测。 默认值:无。 单击界面右下方的“创建”图标,完成项目创建。
  • 操作步骤 在左侧目录空白区域,右键单击,从下拉框中选择“New Folder”。 左侧目录中新增“Untitled Folder”目录。 图1 新建目录 右键单击“Untitled Folder”目录,从下拉框中选择“Rename”,输入新文件名称:finance_case。 图2 修改目录名称 双击“finance_case”目录,进入目录里面。 单击界面上方的图标,从本地选择“outlier_detection.py”文件上传。 选中“outlier_detection.py”文件,单击上方的图标,在弹出的“从OBS同步”对话框中,单击“YES”。 弹出“同步成功”对话框,单击“OK”,文件同步完成。
  • 操作步骤 在模型训练服务首页,单击界面左上方“创建项目”上方的“+”图标,进入“创建项目”界面。 参数配置说明如下所示,其余参数保持默认值即可。 项目名称:自定义项目名称。 是否公开:项目是否公开。如果勾选,则展示“公开至组”和“公开至用户”参数。 公开至组:默认展示当前用户所属的所有用户组。如果勾选用户组,则被勾选用户组下的所有用户均可以查看和编辑当前项目。 公开至用户:这里会自动展示用户所属Team或用户所属租户下面的所有用户,请根据实际情况,选择需要共享的用户。 单击“创建”。项目创建完成后,进入项目总览界面。
  • 前提条件 需要提前准备数据集和AI原子能力代码文件,详细说明如下所示: 请参考新建数据集和导入数据,在数据集界面,创建数据集存放目录,并从本地导入训练集至模型训练服务。 本节以数据集“KPI”,训练 数据实例 “train”、测试数据实例“test”为例,进行后续操作说明,此样例数据不对外提供,请用户自行准备体验数据。 AI原子能力代码开发有两种方式。场景1是通过模型训练服务WebIDE开发环境编写、调试生成代码文件,操作请参考模型训练服务《用户指南》;场景2是直接基于AIOps原子学件模板开发,操作参考本节即可。
  • 操作步骤 在模型训练服务首页,单击项目名称,进入项目总览页面。 在左侧导航栏中,单击“模型管理”,进入模型管理界面。 单击界面右上角的“创建模型包”,弹出“创建模型包”对话框。 参数配置说明,如下所示: 模型包名称:保持默认值“KPI_detection”。 版本:保持默认值“1.0.0”。 模型包来源:保持默认值“使用归档包”。 归档包:勾选模型归档包“KPI_detection”。 单击“确定”,完成模型归档包打包操作,生成AI原子能力模型包。
  • 简介 KPI时序预测学件,内置时间序列可预测性分析算法,支持对数据进行预测场景分析、数据预处理、特征画像和可预测性评估,然后推荐给出最适合的预测算法。并利用超参优化,对推荐出的算法进行超参寻优,生成时序预测模型。最后的模型评估,使用测试集验证模型,输出相应的运行结果图。图中包含了实际值和预测值曲线,可有效帮助用户直观的查看和评估模型预测效果。 学件目前是封装在模型训练服务JupyterLab开发环境中的,可通过在项目中创建JupyterLab开发环境,体验学件服务。 父主题: 时序预测学件