检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
享给所有ModelArts用户,您也可以从“AI Gallery”获取他人共享的内容,快速完成构建。在您完成模型的训练和导入之后,您可以将自己的模型分享至“AI Gallery”,进行知识共享。 登录ModelArts管理控制台,在左侧导航栏中选择“模型管理”,进入模型列表页面。
设置此数据集的公开权限。可选值有: “公开”:表示所有使用AI Gallery的用户都可以查看且使用该资产。 “指定用户”:表示仅特定用户可以查看及使用该资产。 “仅自己可见”:表示只有当前账号可以查看并使用该资产。 发布来源为“ModelArts”的数据集,发布后在AI Gallery“我的数据 > 我的
--calib-data:数据集路径,推荐使用:https://huggingface.co/datasets/mit-han-lab/pile-val-backup,注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网:https://docs.vllm.ai/en/
下载地址:https://huggingface.co/benjamin-paine/stable-diffusion-v1-5/tree/main (需登录) 下载stable-diffusion-xl-base-1.0模型包并上传到宿主机上,官网下载地址:https://huggingface
请按照实际需要创建obs目录;如果检查发现目录存在,但依然报同样的错,可以提工单申请技术支持 ModelArts.3567:用户只能访问自己账号下的obs目录,ModelArts在读取其他用户obs下的数据时,需要用户委托权限,没有创建委托,就没有权限使用其他用户obs中的数据。
模型包文件model.zip中需要用户自己准备模型文件,此处仅是举例示意说明,以一个手写数字识别模型为例。 Model目录下必须要包含推理脚本文件customize_service.py,目的是为开发者提供模型预处理和后处理的逻辑。 图6 推理模型model目录示意图(需要用户自己准备模型文件) 推
Standard提供的Notebook开发环境中,完成AI开发全流程,您可以参考基于Codelab使用Standard Notebook实例进行AI开发。 如果您有自己的算法,想改造适配后迁移到ModelArts Standard平台上进行训练和推理,您可以参考使用自定义算法构建模型(手写数字识别)。 更
模型包文件model.zip中需要用户自己准备模型文件,此处仅是举例示意说明,以一个手写数字识别模型为例。 Model目录下必须要包含推理脚本文件customize_service.py,目的是为开发者提供模型预处理和后处理的逻辑。 图5 推理模型model目录示意图(需要用户自己准备模型文件) 推
训练时默认不需要加此环境变量,仅当发现驱动版本不够时才使用此方法。 专属池驱动版本如何升级? 当专属资源池中的节点含有GPU/Ascend资源时,用户基于自己的业务,可能会有自定义GPU/Ascend驱动的需求,ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力,具体操作请参见资源池驱动升级。
Gallery的用户都可以查看且使用该资产。 “指定用户”:表示仅特定用户可以查看及使用该资产。 “仅自己可见”:表示只有当前账号可以查看并使用该资产。 公开权限只支持权限的扩大,权限从小到大为“仅自己可见<指定用户<公开”。 “时长限制”可以选择“不启用”或“启用”。当启用时,可以设置资产的免费使用时长,以及到期后是否续订。
管理员增加权限。 2、公共资源池的规格无法选择 共享池的资源是有限的,显示置灰表示当前规格的资源已经被用完。请选择未置灰的规格,也可以创建自己的专属资源池。 3、自定义规格 只有在专属资源池部署服务时,支持自定义资源规格。公共资源池部署服务不支持。 图2 自定义规格 4、免费规格
2k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优,使语言模型更好地遵循指令。 预训练使用的Alpaca数据集下载:https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-
2k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优,使语言模型更好地遵循指令。 预训练使用的Alpaca数据集下载:https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-
2k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优,使语言模型更好地遵循指令。 预训练使用的Alpaca数据集下载:https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-
以下样例中所有以${}装饰的字符串都代表一个变量,用户可以根据实际情况指定对应的值。 比如${your_password}表示输入用户自己的密码信息。 # 默认使用DEFAULT鉴权配置项,默认提示账号、用户名及密码(其中账号和用户名如果不需要填写可以使用Enter跳过) $
磁盘规格:按照对应的存储使用情况可选择存储大小。 SSH远程开发:如果需通过VS Code远程连接Notebook实例,可打开SSH远程开发,并选择自己的密钥对。 图2 实例创建 在Notebook列表,单击“操作列”的“打开”,打开Notebook实例。 图3 运行实例 图4 线上Notebook入口
地IDE请参考使用PyCharm ToolKit创建并调试训练作业。 创建算法 创建算法 创建生产训练作业之前,需要先准备算法,可以是用户自己准备的算法,也可以使用从AI Gallery订阅的算法。 创建生产训练作业 训练作业基础功能 ModelArts Standard支持通过
/home/ma-user 排查/home/ma-user/.ssh目录权限是否为755/750,不是该权限请修改。 连接时如果报错密钥无权限,排查密钥是否为自己的密钥(可能使用了重名密钥),请更换密钥后重新连接实例。 本地排查 检查配置是否正确。 打开config文件进行检查:Host必须放在每组配置的第一行,作为每组配置的唯一ID。
/home/ma-user 排查/home/ma-user/.ssh目录权限是否为755/750,不是该权限请修改。 连接时如果报错密钥无权限,排查密钥是否为自己的密钥(可能使用了重名密钥),请更换密钥后重新连接实例。 本地排查 检查配置是否正确。 打开config文件进行检查:Host必须放在每组配置的第一行,作为每组配置的唯一ID。
当用户使用IAM账号登录时,训练作业列表会显示IAM账号下所有训练作业。ModelArts提供查找训练作业功能帮助用户快速查找训练作业。 操作一:单击“只显示自己”按钮,训练作业列表仅显示当前子账号下创建的训练作业。 操作二:按照名称、ID、作业类型、状态、创建时间、算法、资源池等条件筛选的高级搜索。