检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录ModelArts控制台,参考创建生产训练作业操作指导,创建训练作业。用户需关注以下操作才能开启超参搜索。 当您选择支持超参搜索的算法,需单击超参的范围设置按钮才能开启超参搜索功能。 图2 开启超参搜索功能 开启超参搜索功能后,用户可以设置搜索指标、搜索算法和搜索算法参数。三个参数显示的支持值与算法管理模块的超参设置对应。
查看ModelArts相关审计日志 在您开启了云审计服务后,系统会记录ModelArts的相关操作,且控制台保存最近7天的操作记录。本节介绍如何在云审计服务管理控制台查看最近7天的操作记录。 操作步骤 登录云审计服务管理控制台。 在管理控制台左上角单击图标,选择区域。 在左侧导航
在ModelArts训练时如何安装C++的依赖库? 在训练作业的过程中,会使用到第三方库。以C++为例,请参考如下操作步骤进行安装: 将源码下载至本地并上传到OBS。使用OBS客户端上传文件的操作请参见上传文件。 将上传到OBS的源码使用Moxing复制到开发环境Notebook中。
ModelArts的Notebook有代理吗?如何关闭? Notebook有代理。 执行env|grep proxy命令查询Notebook代理。 执行unset https_proxy unset http_proxy命令关闭代理。 父主题: Standard Notebook
AI开发基本流程介绍 什么是AI开发 AI(人工智能)是通过机器来模拟人类认识能力的一种科技能力。AI最核心的能力就是根据给定的输入做出判断或预测。 AI开发的目的是什么 AI开发的目的是将隐藏在一大批数据背后的信息集中处理并进行提炼,从而总结得到研究对象的内在规律。 对数据进行
如何查看ModelArts中正在收费的作业? 在ModelArts管理控制台,单击左侧菜单栏的“总览”,您可以在“总览>生产概况”区域查看正在收费的作业。根据实际情况进入管理页面,停止并删除实例。例如,Notebook正在计费,请前往“开发空间 > Notebook”页面,将状态
不支持跨站点访问OBS桶。具体请参见查看OBS桶与ModelArts是否在同一个区域。 请确认操作Notebook的账号有权限读取OBS桶中的数据。如没有权限,请参见在ModelArts的Notebook中,如何访问其他账号的OBS桶?。 父主题: Standard Notebook
path}同时使用。 可在run_vllm.sh增加如下环境变量开启高阶配置: export DEFER_DECODE=1 # 是否使用推理与Token解码并行;默认值为1表示开启并行,取值为0表示关闭并行。开启该功能会略微增加首Token时间,但可以提升推理吞吐量。 export
用户如何设置默认的kernel? 用户希望打开Notebook默认的kernel为自己自定义的kernel。 解决方式: 在Terminal里执行如下命令在镜像里指定环境变量。 # python-3.7.10这里指用户想设置的kernel名称 export KG_DEFAULT_
在ModelArts自动学习中,如何进行增量训练? 在自动学习项目中,每训练一次,将自动产生一个训练版本。当前一次的训练结果不满意时(如对训练精度不满意),您可以适当增加高质量的数据,或者增减标签,然后再次进行训练。 增量训练目前仅支持“图像分类”、“物体检测”、“声音分类”类型的自动学习项目。
# PFA算子(全量prefill阶段的flash-attention)是否使用高精度模式;默认值为1表示开启。针对Qwen2-7B模型和Qwen2-57b模型,必须开启此配置,否则精度会异常;其他模型不建议开启,会影响首token时延增加5%~10%。 export USE_I
ModelArts平台是否支持多模型导入? ModelArts平台从对象存储服务(OBS)中导入模型包适用于单模型场景。 如果有多模型复合场景,推荐使用自定义镜像方式,通过从容器镜像(SWR)中选择元模型的方式创建模型部署服务。 制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。
模型更加随机。0表示贪婪采样。 stream 否 False Bool 是否开启流式推理。默认为False,表示不开启流式推理。 ignore_eos 否 False Bool ignore_eos表示是否忽略EOS并且继续生成token。 父主题: 主流开源大模型基于Lite Cluster适配PyTorch
使用ModelArts时提示“权限不足”,如何解决? 当您使用ModelArts时如果提示权限不足,请您按照如下指导对相关服务和用户进行授权,并对用户权限进行检查操作。 本案例中以OBS权限不足为例,介绍如何为用户授予OBS服务权限。其它权限不足的场景也可以参考本案例操作,只是授
API网关)和模型。 处理方法 优先排查APIG(API网关)是否是通的,可以在本地使用curl命令排查,命令行:curl -kv {预测地址}。如返回Timeout则需排查本地防火墙,代理和网络配置。 检查模型是否启动成功或者模型处理单个消息的时长。因APIG(API网关)的限
但是达不到预期,可能是nv_peer_mem异常。 处理方法 查看nv_peer_mem是否已安装。 dpkg -i | grep peer 如果未安装则需要安装,安装方法参考装机指导。 如果已安装则进入下一检测项。 查看该软件是否已经加载至内核。 lsmod | grep peer 如果没有则需要重新加载至内核,执行如下命令进行加载:
如何登录并上传镜像到SWR? 本章节介绍如何上传镜像到容器镜像服务SWR。 Step1 登录SWR 登录容器镜像服务控制台,选择区域。 单击右上角“创建组织”,输入组织名称完成组织创建。您可以自定义组织名称,本示例使用“deep-learning”,实际操作时请重新命名一个组织名
ModelArts Standard训练作业和模型部署如何收费? Standard中训练作业如何收费? 如果您使用的是公共资源池,则根据您选择的规格、节点数、运行时长进行计费。计费规则为“规格单价×节点数×运行时长”(运行时长精确到秒)。 如果您使用的是专属资源池,则训练作业就不再进行单独计费。由专属资源池进行收费。
如何禁止Ubuntu 20.04内核自动升级? 场景描述 在Ubuntu 20.04每次内核升级后,系统需要重新启动以加载新内核。如果您已经安装了自动更新功能,则系统将自动下载和安装可用的更新,这可能导致系统在不经意间被重启,如果使用的软件依赖于特定版本的内核,那么当系统自动更新
在Notebook中如何实现IAM用户隔离? 开发环境如果需要实现IAM用户隔离,即多个IAM用户之间无法查看、修改和删除他人创建的Notebook。 目前有两种方案: 方案一:删除modelarts:notebook:listAllNotebooks细粒度权限。 方案二:使用工