检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
洞版本。敏感信息和镜像解耦,可以在服务部署时配置,不能直接硬编码在Dockerfile中。定期针对镜像进行安全扫描,及时安装补丁修复漏洞。增加健康检查接口,确保健康检查可以正常返回业务状态,便于告警和故障恢复。容器应该采用https的安全传输通道,并使用业界推荐的加密套件保证业务数据的安全性。
在ModelArts服务页面的左侧导航选择“权限管理 ”,单击“添加授权”。授权对象选择子账号,在已有委托中选择新建的委托,然后单击“创建”。 验证权限是否配置成功。 登录子账号,如果用户能在控制台上成功创建Notebook实例、挂载OBS文件系统(OBS桶需由管理员创建)、保存镜像,则表示权限配置成功。
MaaS使用场景和使用流程 ModelArts Studio大模型即服务平台(后续简称为MaaS服务),提供了简单易用的模型开发工具链,支持大模型定制开发,让模型应用与业务系统无缝衔接,降低企业AI落地的成本与难度。 当您第一次使用MaaS服务时,可以参考快速入门使用ModelArts
下载或读取文件报错,提示超时、无剩余空间 问题现象 训练过程中复制数据/代码/模型时出现如下报错: 图1 错误日志 原因分析 出现该问题的可能原因如下。 磁盘空间不足。 分布式作业时,有些节点的docker base size配置未生效,容器内“/”根目录空间未达到50GB,只有默认的10GB,导致作业训练失败。
self.model.proc(v) return result def _postprocess(self, data): # 这里增加自己的后处理 return str(data) 父主题: 创建模型规范参考
见什么是区域、可用区?。 资源类型:ModelArts支持查询的资源类型如表1所示。 资源标签:不填写标签时,表示查询所有资源,无论此资源是否有配置标签。选择相应标签查询资源,用户可以通过多个标签组合查询资源使用情况。 表1 ModelArts的资源类型 资源类型 说明 ModelArts-Notebook
ining-jobs/{training_job_id}/tasks/{task_id}/logs/preview 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id
/v2/{project_id}/datasets/{dataset_id}/data-annotations/search-condition 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
程序运行过程中,产生了core文件,core文件占满了"/"根目录空间。 处理方法 排查数据集大小、数据集解压后的大小,checkpoint保存文件大小,是否占满了磁盘空间。具体规格的空间大小可参见训练环境中不同规格资源“/cache”目录的大小 如数据大小已超过/cache目录大小,则可以考虑通过SFS来额外挂载数据盘进行扩容。
对于包年/包月计费模式的资源,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能,为避免
自定义镜像使用场景 在AI业务开发以及运行的过程中,一般都会有复杂的环境依赖需要进行调测并固化。面对开发中的开发环境的脆弱和多轨切换问题,在ModelArts的AI开发最佳实践中,通过容器镜像的方式将运行环境进行固化,以这种方式不仅能够进行依赖管理,而且可以方便的完成工作环境切换
准备代码 本教程中用到的训练、推理代码如下表所示,请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示,模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
点,以下称“构建节点”。 可以通过执行docker pull、apt-get update/upgrade和pip install命令判断是否可正常访问外部可用的开源软件仓库,若可以正常访问表示环境已连接外部网络。 上述的虚拟机或物理机需要为arm64架构。 建议构建节点安装的Linux系统版本为Ubuntu
数据标注状态选择“已标注”,您需要保证目录或manifest文件满足相应的格式规范,否则可能存在导入失败的情况。 导入已标注的文件,导入完成后,请检查您导入的数据是否为已标注状态。 表格数据集从OBS导入操作 ModelArts支持从OBS导入表格数据,即csv文件。 表格数据集导入说明: 导入成功的前
mit”,相当于执行了git commit命令。 图8 提交修改内容 此时,可以在“History”页签下看到本地提交已成功。 图9 查看是否提交成功 单击“push”按钮,相当于执行git push命令,即可提交代码到GitHub仓库中。提交成功后会提示“Successfully
用户画像分析,实现精确营销。也可应用于制造设备预测性维护,根据设备实时数据的分析,进行故障识别。 声音分类 声音分类项目,是识别一段音频中是否包含某种声音。可应用于生产或安防场景的异常声音监控。 文本分类 文本分类项目,识别一段文本的类别。可应用于情感分析或新闻分类等场景。 父主题:
选填,推理服务提供的端口,缺省值为8080。只支持部署HTTP服务。 自定义镜像可以通过是否上传自定义推理参数文件“gallery_inference/inference_params.json”决定镜像在部署推理服务时是否支持设置推理参数。 如果在自定义镜像的“模型文件”下上传了“galler
管理页面。 单击右上角“创建”,进入“创建Notebook”页面,请参见如下说明填写参数。 填写Notebook基本信息,包含名称、描述、是否自动停止。 填写Notebook详细参数,如选择镜像、资源规格等。 “镜像”:选择统一镜像tensorflow_2.1-cuda_10.1-cudnn7-ubuntu_18
l、cmake、sh、css、js、cpp、json、md、sql、bat、conf 图1 下载预览代码 在详情页面单击“订阅”,根据算法是否具有使用约束进行不同操作: 如果订阅是具有使用约束的算法,则弹出“使用约束”页面,查看并确认后单击“继续订阅”即可成功订阅。 如果订阅是没有使用约束的算法,则直接成功订阅。
可以使用v2的${MA_VJ_NAME}-${MA_TASK_NAME}-{N}.${MA_VJ_NAME}:6666替换。 分析代码中是否存在并发读写同一文件的逻辑,如有则进行修改。 如用户使用多卡的作业,那么可能每张卡都会有同样的读写数据的代码,可参考如下代码修改。 import