检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何将Keras的.h5格式模型导入到ModelArts中 ModelArts不支持直接导入“.h5”格式的模型。您可以先将Keras的“.h5”格式转换为TensorFlow的格式,然后再导入ModelArts中。 从Keras转TensorFlow操作指导请参见其官网指导。 父主题:
C# SDK使用说明 操作场景 使用C#语言进行后端服务签名时,您需要先获取SDK,然后打开工程,最后参考校验后端签名示例校验签名是否一致。 C# SDK仅支持hmac类型的后端服务签名。 前提条件 已在控制台创建签名密钥,并绑定API,具体请参见配置后端服务的签名校验。 已获取
查询资源池列表,可通过标签、资源池状态筛选查询资源池列表 功能介绍 查询资源池列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/pools
手工排产 提供排产保存、一键排产、导出待排产信息、排产调整、取消排产、导出排产结果信息、查询工单排产信息功能。 排产保存:初始化的工单会变更为已排产。 一键排产: 系统自动设置待排产信息。 排产调整:修改已排产状态的工单排产信息。 取消排产:已排产状态的工单变为初始化。 前提条件
根据网关ID获取目标服务列表 功能介绍 此API用于根据网关ID获取目标服务列表。 URI GET /v3/{project_id}/cas/swimlane-group/target-services 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
注意事项 当检验失败时返回的异常需要友好,用户能清楚知道错误原因。 校验功能最好在一个filter中实现,避免所有接口都实现一次检验。 父主题: 实现一个认证API
购买这个服务是不是要先购买其他的配套服务? 不需要。 父主题: 关于服务购买
如何解决微服务引擎创建过程中处理接入地址步骤失败? 问题描述 创建引擎过程中,处理接入地址步骤失败,报错提示: {"error_code":"SVCSTG.00500404","error_message":"{"code":"VPC.0202","message":"Query
配置管理(适用于2.x版本) 微服务引擎定义了一套与开发框架无关的配置机制。配置项由key、label和value组成,通过label区分配置项属于全局配置、微服务配置等作用范围,label也可以表示value的类型。 您可以根据需要参考下表选择需要执行的操作。 操作名称 操作说明
重新安装Sermant Injector 安装Sermant Injector失败后,可以执行本操作重新安装。 重新安装Sermant Injector负载过程中无法挂载Sermant Agent,可能会导致在此期间重启的服务实例接入ServiceComb引擎或者注册配置中心失败。
对接测试 操作前需进行Jenkins对接GitLab测试,保证Jenkins通过API能够正常访问GitLab。 生成GitLab访问令牌 登录GitLab。 鼠标移动到右上角的账号名上,单击“Edit profile”。 单击“Access Tokens”,输入“Token n
手动构建验证 在浏览器地址栏输入http://{安装Jenkins的Linux虚拟机IP}:8080,登录Jenkins。 单击“我的视图”。 选择对应的构建任务,单击构建任务名称进入详情界面。 单击“立即构建”,生成构建任务。 在“构建历史”以及“阶段视图”中会有对应的构建任务
预训练任务 步骤1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 父主题: 主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.907)
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.909)
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.908)
查看日志和性能 单击作业详情页面,则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签,查看最后一个节点的日志,其包含“elapsed time per iteration (ms)”数据,可换算为tokens/s/p的性能数据。 吞吐量(tokens/s/p):global
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard,用户需要购买专属资源池,具体步骤请参考创建资源池。 资源规格要求: 计算规格:用户可参考表1。 硬盘空间:至少200GB。 昇腾资源规格: Ascend: 1*ascend-snt9b表示昇腾单卡。
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题: 准备工作
准备工作 准备环境 准备代码 准备镜像环境 准备数据(可选) 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.909)