检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio 调优数据集异常日志说明 使用ChatGLM3-6B或GLM-4-9B模型微调后,权重校验失败 使用AWQ或SQ压缩后的模型新增版本时,权重校验失败 使用Qwen2.5-72B-1K、Qwen2.5-32B调优的Checkpoint创建模型时,权重校验失败 创建Qwen2-0
MindStudio-Insight性能可视化工具使用指导 对于高阶的调优用户,可以使用可视化工具MindStudio Insight查看profiling数据详情并分析可优化点,其提供了丰富的调优分析手段,可视化呈现真实软硬件运行数据,多维度分析性能瓶颈点,支持百卡、千卡及以上
规格内存太小,无法满足应用部署,请增大内存规格。 运行中服务告警中出现该提示,可能代码有问题导致内存溢出或者业务使用量太大导致内存需求增多。 处理方法 在部署或升级在线服务时,选择更大内存规格的计算节点。 图3 选择计算节点规格 运行中服务出现告警时,需要分析是您的代码是否出现漏
【下线公告】华为云ModelArts MindStudio/ML Studio/ModelBox镜像下线公告 华为云ModelArts服务MindStudio,ML Studio,ModelBox镜像将在2024年6月30日00:00(北京时间)正式退市。 下线范围 下线Region:华为云全部Region
否,提高训练作业使用的资源规格或者联系技术支持。 重启训练作业,使用CloudShell登录训练容器监控内存指标,确认是否有突发性的内存增加现象。 是,排查内存突发增加的时间点附近的训练作业日志,优化对应的代码逻辑,减少内存申请。 否,提高训练作业使用的资源规格或者联系技术支持。 父主题:
在JupyterLab浏览器左侧导航删除文件后,会默认放入回收站占用内存,导致磁盘空间不足。 磁盘配额不足。 处理方法 查看虚拟机所使用的存储空间,再查看回收站文件占用内存,根据实际删除回收站里不需要的大文件。 在Notebook实例详情页,查看实例的存储容量。 执行如下命令,排查虚拟机所使用的存储空间,一般接近存储容量,请排查回收站占用内存。
登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio首页单击“购买套餐包”,进入购买页面。 在“购买”页面,选择套餐包“规格”和“购买数量”,单击“立即购买”,确认订单详情,单
在目标服务右侧,单击操作列的“在线体验”,跳转到“模型体验”页面,在右上角单击“参数设置”,按需配置相关参数,即可开始问答体验。操作指导请参见在MaaS体验模型服务。 表1 参数设置 参数 说明 温度/Temperature 设置推理温度。 数值较高,输出结果更加随机。 数值较低,输出结果更加集中和确定。
公共资源池供所有租户共享使用。 专属资源池需单独创建,不与其他租户共享。 公共资源池 实例规格 选择实例规格,规格中描述了服务器类型、型号等信息。 xxx 流量限制(QPS) 设置待部署模型的流量限制QPS。 3 实例数 设置服务器个数。 1 更多选项 内容审核 选择是否打开内容审核,默认启用。 开关
“调优后模型权重保存路径”的OBS路径下。 1 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建,不与其他租户共享。 公共资源池 规格 选择规格,规格中描述了服务器类型、型号等信息,仅显示模型支持的资源。 xxx 计算节点个数
自动存储到“调优后模型权重保存路径”的OBS路径下。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建,不与其他租户共享。 规格 选择规格,规格中描述了服务器类型、型号等信息,仅显示模型支持的资源。 计算节点个数 当计
在模型广场页面,ModelArts Studio大模型即服务平台提供了丰富的开源大模型,在模型详情页可以查看模型的详细介绍,根据这些信息选择合适的模型进行训练、推理,接入到企业解决方案中。 访问模型广场 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts
压缩后模型权重保存路径 选择压缩后模型权重文件存放的OBS路径。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建,不与其他租户共享。 实例规格 选择实例规格,规格中描述了服务器类型、型号等信息。 更多选项 永久保存日志 选择是否打开“永久保存日志”开关。
创建我的模型 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,单击“我的模型”进入模型列表,单击“创建模型”弹出“创建模型”页面。 在“创建模型”页面,配置参数。
在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,选择“模型部署”。 在“模型部署”页面,单击“我的服务”页签。 在目标模型服务右侧,单击操作列的“更多 > 服务升级”。 在“服务升级”页面,配置升级参数。
在线体验”,进入“模型体验”页面。 在“模型体验”右上角,单击“参数设置”,拖动或直接输入数值配置推理参数。单击“恢复默认”可以将参数值调回默认值。 图1 设置推理参数 表1 参数设置 参数 说明 温度/Temperature 设置推理温度。 数值较高,输出结果更加随机。 数值较低,输出结果更加集中和确定。
单击“选择模型”,选择“模型广场”或“我的模型”下面的模型。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建,不与其他租户共享。 实例规格 选择实例规格,规格中描述了服务器类型、型号等信息。 流量限制(QPS) 设置待部署模型的流量限制QPS。 单位:次/秒
Key用于接口的鉴权认证。 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,选择“鉴权管理”。 在“鉴权管理”页面,单击“创建API Key”,填写描述
管理我的服务 扩缩容模型服务实例数 修改模型服务QPS 升级模型服务
在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,选择“模型部署”。 在“模型部署”页面,单击“我的服务”页签。 在目标模型服务右侧,单击操作列的“更多 > 设置QPS”,在弹窗中修改数值,单击“提交”启动修改任务。