检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
韧性特指安全韧性,即云服务受攻击后的韧性,不含可靠性、可用性。本章主要阐述ModelArts服务受入侵的检测响应能力、防抖动的能力、域名合理使用、内容安全检测等能力。 安全防护套件覆盖和使用堡垒机,增强入侵检测和防御能力 ModelArts服务部署主机层、应用层、网络层和数据层的安全防护套件。及时
MindSpore引擎的AI模型。具体操作流程如图1 使用JupyterLab在线开发调试代码所示。 图1 使用JupyterLab在线开发调试代码 操作步骤 创建Notebook实例。 在ModelArts控制台创建一个Notebook实例,选择要使用的AI框架。具体参见创建Notebook实例。
在模型广场查看模型 在模型广场页面,ModelArts Studio大模型即服务平台提供了丰富的开源大模型,在模型详情页可以查看模型的详细介绍,根据这些信息选择合适的模型进行训练、推理,接入到企业解决方案中。 访问模型广场 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts
否则会导致无法获取到相关数据。 数据集要求 预测分析项目中需要使用到的数据集为表格数据集,数据格式支持csv格式。表格数据集的具体介绍请参见表格数据集。 将原始.xlsx格式的数据转换为.csv格式的数据的方法如下: 将原始表格数据(.xlsx)另存。单击“文件>另存为”,选择
云上挂载路径:输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置:输入用户的“子目录挂载”路径。如果默认没有填写,则忽略。 图4 选择SFS Turbo 作业日志选择OBS中的路径,ModelArts的训练作业的日志信息则保存该路径下。 最后,请参考查看日志和
云上挂载路径:输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置:输入用户的“子目录挂载”路径。如果默认没有填写,则忽略。 图4 选择SFS Turbo 作业日志选择OBS中的路径,ModelArts的训练作业的日志信息则保存该路径下。 最后,请参考查看日志和
云上挂载路径:输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置:输入用户的“子目录挂载”路径。如果默认没有填写,则忽略。 图4 选择SFS Turbo 作业日志选择OBS中的路径,ModelArts的训练作业的日志信息则保存该路径下。 最后,请参考查看日志和
训练过程中出现内存溢出的情况,用户可参考表2进行配置。 图3 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS Turbo文件系统。 云上挂载路径:输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置:输入用户的“子目录挂载”路径。如果默认没有填写,则忽略。
出现内存溢出的情况,用户可参考表2进行配置。 图3 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS Turbo文件系统。 云上挂载路径:输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置:输入用户在创建Notebook的“子目录挂载”路径。若默认没有填写,则忽略。
动后会下载至后台,可能会有下载失败的风险。建议训练代码目录大小小于或等于50MB。 代码目录路径中的启动文件 代码目录路径中的启动文件作为训练启动的入口,当前只支持python格式。预置框架启动文件的启动流程说明请参见预置框架启动文件的启动流程说明。 训练输入路径参数 训练数据需
8:图像的饱和度与训练数据集的特征分布存在较大偏移。 9:图像的色彩丰富程度与训练数据集的特征分布存在较大偏移。 10:图像的清晰度与训练数据集的特征分布存在较大偏移。 11:图像的目标框数量与训练数据集的特征分布存在较大偏移。 12:图像中目标框的面积标准差与训练数据集的特征分布存在较大偏移。
String 自定义镜像训练作业的自定义镜像的容器的启动命令。例如python train.py。 parameters Array of Parameter objects 训练作业的运行参数。 policies policies object 作业支持的策略。 inputs Array
用户所创建的批量服务。 前提条件 数据已完成准备:已在ModelArts中创建状态“正常”可用的模型。 准备好需要批量处理的数据,并上传至OBS目录。 已在OBS创建至少1个空的文件夹,用于存储输出的内容。 背景信息 用户最多可创建1000个批量服务。 根据模型定义的输入请求不同
将权重文件上传到DevServer机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理,需要上传训练后的权重文件和开源的原始权重文件。模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 Step4 启动容器镜像
每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。
Gallery,进入示例的详情页面查看示例。 进入AI Gallery首页。选择“项目”,进入项目列表页面。 在搜索框中输入创建好的Notebook名称,单击页签进入详情页。 编辑资产详情 资产发布成功后,发布者可以进入详情页修改该资产的名称、描述,让资产更吸引人。也可以修改资产的可见性。 编辑Notebook介绍
集比例”即用于验证模型的样本数据比例。“训练验证比例”会影响训练模板的性能。 “描述” 针对当前发布的数据集版本的描述信息。 “开启难例属性” 仅“图像分类”和“物体检测”类型数据集支持难例属性。 默认不开启。启用后,会将此数据集的难例属性等信息写入对应的Manifest文件中。
在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示,示例中的桶名称“test-modelarts”和文件夹名称均为举例,请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1
元模型来源参数说明 参数 说明 “容器镜像所在的路径” 单击从容器镜像中导入模型的镜像,其中,模型均为Image类型,且不再需要用配置文件中的“swr_location”来指定您的镜像位置。 制作自定义镜像的操作指导及规范要求,请参见模型镜像规范。 说明: 您选择的模型镜像将共享给系统管理员,请
实时视频推理、大视频文件。 创建时间 模型的创建时间。 描述 模型的描述。 操作 部署:将模型发布为在线服务、批量服务或边缘服务。 创建新版本:创建新的模型版本。参数配置除版本外,将默认选择上一个版本的配置信息,您可以对参数配置进行修改。 删除:删除对应的模型。 说明: 如果模型的版本已经部署服务,需