检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
“输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单击“增加环境变量”,在增加的环境变量填写框中,按照表1表格中的配置进行填写。
AK、SK:在“账号中心 > 我的凭证 > 访问密钥”中创建访问密钥,获取AK、SK(参考链接)。 选择站点:此处的站点必须和远程连接的Notebook在同一个站点,否则会导致连接失败。 登录成功后显示Notebook实例列表。
“输入”和“输出”中的获取方式全部选择为:环境变量。 “输出”中的预下载至本地目标选择:下载,此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单击“增加环境变量”,在增加的环境变量填写框中,按照表1表格中的配置进行填写。
kubectl apply -f config.yaml 检查pod启动情况,执行下述命令。如果显示“1/1 running”状态代表启动成功。
liblzma-dev libboost-graph-dev libsndfile1 libcurl4-openssl-dev libopenblas-base liblapack3 libopenblas-dev libprotobuf-dev libleveldb-dev libsnappy-dev
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
for i in range(len(voc_object_tags)): object_tag = voc_object_tags[i] object_properties = voc_object_properties[i] voc_objects.append
以Linux x86_64架构的操作系统为例,获取Docker安装包。您可以使用以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。
以Linux x86_64架构的操作系统为例,获取Docker安装包。您可以使用以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。
表1 性能分析能力概览 分析维度 分析项 释义 overall overall summary 对于单卡profiling进行性能拆解,获取单步计算、下发和通信耗时。 slow rank 对于集群profiling进行性能统计,获取每张卡不同step的计算、下发和通信耗时。
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
“请求类型”可选择“application/json”或“multipart/form-data”。请根据元模型,选择合适的类型。 选择“application/json”时,直接填写“预测代码”进行文本预测。
* from c:\users\xxx\appdata\local\programs\python\python**\lib\site-packages\pip (python *.*) 执行如下命令,安装ma-cli。
图2 添加指标 关于更多指标浏览方法请参考华为云帮助中心“应用运维管理 AOM> 用户指南(2.0)> 指标浏览”。
INFO: Application startup complete.
INFO: Application startup complete.
制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。 父主题: Standard推理部署
本文档介绍了如何在ModelArts管理控制台完成AI开发,如果您习惯使用API或者SDK进行开发,建议查看《ModelArts SDK参考》和《ModelArts API参考》获取帮助。 使用AI全流程开发的端到端示例,请参见 《快速入门》 和《最佳实践》。