检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何通过PyCharm ToolKit创建多个作业同时训练? PyCharm ToolKit一次只能运行一个作业,运行第二个作业时需要手动将第一个作业停止。 父主题: PyCharm Toolkit使用
使用自定义镜像创建在线服务,如何修改默认端口 当模型配置文件中定义了具体的端口号,例如:8443,创建AI应用没有配置端口(默认端口号为8080),或者配置了其他端口号,均会导致服务部署失败。您需要把AI应用中的端口号配置为8443,才能保证服务部署成功。 修改默认端口号,具体操作如下:
物体检测图片标注,一张图片是否可以添加多个标签? 可以,一张图片可添加多个标签。 父主题: 数据标注
Notebook中的EVS存储可以使用套餐包吗? 无法使用套餐包。 父主题: 计费FAQ
Notebook中的EVS存储可以使用套餐包吗? 无法使用套餐包。 父主题: 计费相关
Gallery订阅的数据集可以在SDK中使用吗? 支持。 将AI Gallery数据集下载至OBS,然后在SDK直接使用此OBS目录下的数据即可。详细操作步骤如下所示: 将AI Gallery数据集下载至OBS。详细指导请参见下载数据集。 数据集可以直接下载至OBS,也可以下载至Model
m3-6b。 --tensor-parallel-size:并行卡数。 --hostname:服务部署的IP,使用本机IP 0.0.0.0。 --port:服务部署的端口8080。 --max-model-len:最大数据输入+输出长度,不能超过模型配置文件config.json
路径下。 --tensor-parallel-size:并行卡数。此处举例为1,表示使用单卡启动服务。 --host:服务部署的IP,使用本机IP 0.0.0.0。 --port:服务部署的端口8080。 -max-num-seqs:最大同时处理的请求数,超过后在等待池等候处理。
长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用,不添加表示不使用。 --quantization:推理量化参数。当使用量化功能,则在推理服务启动脚本中增加该参数,如果未使用量化功能,则无需配置。根据使用的量化方式配置,可选择a
hostname和port也必须分别是0.0.0.0和8080不可更改。 高阶参数说明: --enable-prefix-caching:如果prompt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用,不添加表示不使用。 --
长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用,不添加表示不使用。 --quantization:推理量化参数。当使用量化功能,则在推理服务启动脚本中增加该参数,若未使用量化功能,则无需配置。根据使用的量化方式配置,可选择awq或smoothquant方式。
长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用,不添加表示不使用。 --quantization:推理量化参数。当使用量化功能,则在推理服务启动脚本中增加该参数,如果未使用量化功能,则无需配置。根据使用的量化方式配置,可选择a
使用镜像 在AI Gallery中,您可以查找共享的镜像并用于AI开发。 使用镜像 登录“AI Gallery”。 选择“资产集市 > 镜像”,进入镜像页面,该页面展示了所有共享的镜像。 搜索业务所需的镜像,请参见查找和收藏资产。 单击目标镜像进入详情页面。 在详情页面您可以查看
用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建IAM用户并使用他们进行日常管理工作。 IAM用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。
标注多个标签,是否可针对一个标签进行识别? 数据标注时若标注多个标签进行训练而成的模型,最后部署成在线服务之后也是对标注的多个标签去进行识别的。如果只需要快速识别一种标签,建议单独训练识别此标签的模型使用,并选择较大的部署上线的规格也可以提供识别速度。 父主题: Standard数据管理
在企业中,项目级复杂任务通常需要理解任务并拆解成多个问题再进行决策,然后调用多个子系统去执行。MaaS基于多个优质昇腾云开源大模型,提供优质Prompt模板,让大模型准确理解业务意图,分解复杂任务,沉淀出丰富的多个智能Agent,帮助企业快速智能构建和部署大模型应用。 使用流程 表1 MaaS使用流程 步骤 操作
提交训练作业报错“Invalid OBS path” 使用PyCharm Toolkit提交训练作业报错NoSuchKey 部署上线时,出现错误 如何查看PyCharm ToolKit的错误日志 如何通过PyCharm ToolKit创建多个作业同时训练? 使用PyCharm ToolKit ,提示Error
1个节点的专属资源池,能否部署多个服务? 支持。 在部署服务时,选择专属资源池,在选择“计算节点规格”时选择“自定义规格”,设置小一些或者选择小规格的服务节点规格,当资源池节点可以容纳多个服务节点规格时,就可以部署多个服务。如果使用此方式进行部署推理,选择的规格务必满足模型的要求
使用AI案例 在AI Gallery中,您可以根据您的业务场景和诉求,查找并订阅相应的场景化AI案例。订阅后可以一键运行案例。 AI Gallery中分享的案例支持免费订阅,但在使用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册
huaweicloud.com。 Port:云上Notebook实例的端口,即在Notebook实例详情页获取的端口号。例如:32701。 Connection Type:选择SSH。 Saved Sessions:任务名称,在下一次使用PuTTY时就可以单击保存的任务名称,即可打开远程连接。