正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
benchmark对接结果输出示例图 为了简化用户使用,ModelArts提供了Tailor工具便于用户进行Benchmark精度测试,具体使用方式参考Tailor指导文档。 父主题: GPU推理业务迁移至昇腾的通用指导
用。 首先请先联系客户经理确认Server资源方案,部分规格为受限规格,因此需要申请开通您所需的资源规格。 Server所需资源可能会超出华为云默认提供的资源配额(如ECS、EIP、SFS),因此需要提交工单提升资源配额。 为子用户账号开通Server功能所需的基础权限。 由于M
获取服务IP和端口号。 API接口: GET /v1/{project_id}/services/{service_id}/predict/endpoints?type=host_endpoints 方式一:图形界面的软件获取服务的IP和端口号 图6 接口返回示例 方式二:Python语言获取IP和端口号
在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件,例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。得到OBS下数据集结构,此处以llama2-
进入JupyterLab页面后,自动打开Launcher页面,如下图所示。您可以使用开源支持的所有功能,详细操作指导可参见JupyterLab官网文档。 图3 JupyterLab主页 不同AI引擎的Notebook,打开后Launcher页面呈现的Notebook和Console内核及
片进行服务预测。 如果您的输入类型为图片,请注意测试服务单张图片输入应小于8MB。 JSON文本预测,请求体的大小不超过8MB。 因APIG(API网关)的限制,单次预测的时间不能超过40S。 图片支持以下类型:“png”、“psd”、“jpg”、“jpeg”、“bmp”、“gi
建议调整文件大小使其符合要求,或联系技术支持人员调整文件大小限制。 “请求路径” 批量服务中调用AI应用的接口URL,表示服务的请求路径,此值来自AI应用配置文件中apis的url字段。 “映射关系” 如果AI应用输入是json格式时,系统将根据此AI应用对应的配置文件自动生成
包月两种不同的计费模式的消费情况。 此案例中的单价仅为示例,且计算出的费用为估算值。单价的变动和实际场景中计算出来的费用可能会有偏差。请以华为云官网发布的数据为准。 在使用ModelArts进行AI开发时,会将数据保存至OBS、EVS或SFS中,此时会产生单独的存储计费,具体费用
单个弹性公网IP用于多个Server服务器 所有Server资源必须位于同一个VPC,并且该VPC没有NAT网关以及默认路由。 创建弹性公网IP与NAT网关。 登录华为云管理控制台。 在左侧服务列表中,单击“网络 > 弹性IP”,进入弹性公网IP页面。 单击“创建弹性公网IP”。 参数配置可使用默认值,单击“立即申请”。
benchmark_parallel.csv 参数说明 --backend:服务类型,支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host ${docker_ip}:服务部署的IP,${docker_ip}替换为宿主机实际的IP地址。 --port:推理服务端口8080。
订阅或购买主要是获取AI资产的使用配额和使用权,支持在配额定义的约束下,有限地使用AI资产。 使用AI资产时,可能需要消耗硬件资源,硬件资源费用将根据实际使用情况,由华为云ModelArts等管理控制台向使用方收取。 已发布的AI资产,如果不需要在资产列表中展示该资产,可以将资产下架。下架后,已发布资产仅发
AscendSpeed是用于模型并行计算的框架,其中包含了许多模型的输入处理方法。 获取路径:Support网站 说明: 如果没有下载权限,请联系您所在企业的华为方技术支持下载获取。 权重和词表文件 包含了本教程使用到的HuggingFace原始权重文件和Tokenizer。 标记器(Tokeniz
rch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。 Ascend PyTorch Profiler接口可全面采集PyTorch训练场景下的性能数据,主要包括PyTorch
分析错误时:训练镜像先看日志,推理镜像先看API的返回。 可以通过命令查看容器输出到stdout的所有日志: docker logs -f 39c9ceedb1f6 一般在做推理镜像时,部分日志是直接存储在容器内部的,所以需要进入容器看日志。注意:重点对应日志中是否有ERROR(包括,容器启动时、API执行时)。
标注质量对于最终的模型精度有极大的影响,标注过程中尽量不要出现误标情况。 音频标注涉及到的标注标签和声音内容只支持中文和英文,不支持小语种。 数据上传至OBS 在本文档中,采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范: 如不需要提前上传训练数据,请创建一个空文件夹用于存放工程后期生
run”,驱动包名称为“Ascend-hdk-型号-npu-driver_版本号_linux-aarch64.run”,商用版是权限受控,仅华为工程师和渠道用户有权限下载,下载地址请见固件驱动包下载链接。 arch cat /etc/os-release 图5 查看机器操作系统版本及架构
--backend:服务类型,支持tgi、vllm、mindspore、openai、openai-chat等。本文档使用的推理接口是vllm,而llava多模态推理接口是openai-chat。 --host ${docker_ip}:服务部署的IP,${docker_ip}替换为宿主机实际的IP地址。
样例列表。ModelArts也提供了常用AI引擎对应的自定义脚本示例,请参见自定义脚本代码示例。 如果您在导入元模型过程中遇到问题,可联系华为云技术支持协助解决故障。 模型包结构示例 TensorFlow模型包结构 发布该模型时只需要指定到“ocr”目录。 OBS桶/目录名 |──
Settings”,配置用户登录信息。 图6 登录插件 输入如下用户登录信息,单击“登录”。 Name:自定义用户名,仅用于VS Code页面展示,不与任何华为云用户关联。 AK、SK:在“账号中心 > 我的凭证 > 访问密钥”中创建访问密钥,获取AK、SK(参考链接)。 选择站点:此处的站点必须
greet_btn.click( fn=greet, inputs=name, outputs=output, api_name="greet", queue=False) // AI Gallery不支持应用将事件放入队列中,必须将queue设置为false。