检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义部署模型服务的简介。支持256字符。 模型设置 部署模型 单击“选择模型”，选择“模型广场”或“我的模型”下面的模型。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息。
“数据集” 可在右侧下拉框选择已有数据集，或单击“创建数据集”前往新建数据集。 已有数据集：在“数据集”右侧的下拉框中选择，仅展示同类型的数据集供选择。 创建数据集：前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。
“数据集” 可在右侧下拉框选择已有数据集，或单击“创建数据集”前往新建数据集。 已有数据集：在“数据集”右侧的下拉框中选择，仅展示同类型的数据集供选择。 创建数据集：前往创建数据集页面创建一个新的数据集。具体操作请参考创建ModelArts数据集。 “输出路径” 选择自动学习数据输出的统一OBS路径。
若编译过程出现所依赖的tar包下载失败，如下图所示： 图1 tar包下载失败 可设置ssl忽略证书验证，修改/home/ma-user/triton/python/setup.py文件，open_url()方法： # 新增ssl忽略证书验证 import ssl context = ssl
您可以单击“此处”，在“服务权限缺失”对话框，按需选择“追加至已有权限”或“配置新授权”，然后单击“确定”。 添加缺失的权限（子用户） 如果您的权限不足，MaaS控制台会出现“访问受限”对话框。请按照以下步骤创建自定义策略、为用户组添加自定义策略、查看缺失的服务权限并联系管理员进行配置。 图3 访问授权对话框 缺失
部署在线服务时，您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“实例数”。 如果实例数设置为1，表示后台的计算模式是单机模式；如果实例数设置大于1，表示后台的计算模式为分布式的。您可以根据实际需求进行选择。 推理速度与模型
续费管理 为包年/包月资源开通自动续费。 单个资源开通自动续费：选择需要开通自动续费的专属资源池，单击操作列“开通自动续费”。 批量资源开通自动续费：选择需要开通自动续费的专属资源池，单击列表左上角的“开通自动续费”。 选择续费时长，并根据需要设置自动续费次数，单击“开通”。 图2 开通自动续费
步骤二：调用MaaS模型服务进行预测 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。 选择“我的服务”页签。 选择要调用的服务，单击操作列的“更多 > 调用”弹出调用页面。 选择是否启用内容审核，默认启用。 是，内容审核可以阻止模型推理中的输入输出中出现不
管理数据集文件 预览文件 在数据集详情页，选择“数据集文件”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在数据集详情页，选择“数据集文件”页签。单击操作列的“下载”，选择保存路径单击“确认”，即可下载文件到本地。
划线（_）、中划线（-）和半角句号（.）。 调优后模型权重存放路径 选择调优后模型权重文件的OBS存放路径。训练后将在指定路径下自动创建以作业ID命名的新文件夹进行权重存储。 数据设置 选择数据集格式 支持选择MOSS、Alpaca和ShareGPT。训练数据需要按照对应格式，上
ModelArts支持使用ECS创建专属资源池吗？ 不支持。创建资源池时，只能选择界面提供的“未售罄”节点规格进行创建。专属资源池的节点规格后台是对应的ECS资源，但是无法使用账号下购买的ECS，作为ModelArts专属资源池。 父主题： Standard专属资源池
“专属资源池” 您可以在资源池规格中选择对应的规格进行使用。 “模型来源” 根据您的实际情况选择“自定义模型”或者“订阅模型”。 “选择模型及版本” 选择状态“正常”的模型及版本。 “输入数据目录位置” 选择输入数据的OBS路径，即您上传数据的OBS目录。只能选择文件夹或“.manifest”文件。“
VS Code连接开发环境失败故障处理 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开，未弹出VS Code窗口 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开，VS Code打开后未进行远程连接 VS Code连接开发环境失败时的排查方法
在当前的软件版本中，由于transformers的版本过高（transformers==4.45.0），导致llama2系列模型与transformers不兼容导致报错，报错如图所示。 解决：在训练开始前，针对llama2模型中的tokenizer，需要修在generation_config.json中加入"do_sample":
在当前的软件版本中，由于transformers的版本过高（transformers==4.46.1），导致llama2系列模型与transformers不兼容导致报错，报错如图所示。 解决：在训练开始前，针对llama2模型中的tokenizer，需要修在generation_config.json中加入"do_sample":
在当前的软件版本中，由于transformers的版本过高（transformers==4.46.1），导致llama2系列模型与transformers不兼容导致报错，报错如图所示。 解决：在训练开始前，针对llama2模型中的tokenizer，需要修在generation_config.json中加入"do_sample":
在当前的软件版本中，由于transformers的版本过高（transformers==4.46.1），导致llama2系列模型与transformers不兼容导致报错，报错如图所示。 解决：在训练开始前，针对llama2模型中的tokenizer，需要修在generation_config.json中加入"do_sample":
在当前的软件版本中，由于transformers的版本过高（transformers==4.46.1），导致llama2系列模型与transformers不兼容导致报错，报错如图所示。 解决：在训练开始前，针对llama2模型中的tokenizer，需要修在generation_config.json中加入"do_sample":
在当前的软件版本中，由于transformers的版本过高（transformers==4.45.0），导致llama2系列模型与transformers不兼容导致报错，报错如图所示。 解决：在训练开始前，针对llama2模型中的tokenizer，需要修在generation_config.json中加入"do_sample":
在当前的软件版本中，由于transformers的版本过高（transformers==4.45.0），导致llama2系列模型与transformers不兼容导致报错，报错如图所示。 解决：在训练开始前，针对llama2模型中的tokenizer，需要修在generation_config.json中加入"do_sample":
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
