检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GuideDoc objects 模型文档列表。 owner String 模型所属租户的用户id。 execution_code String 执行代码存放的OBS地址，名称固定为“customize_service.py”。 schema_doc String 模型schema文档的下载地址。
${container_model_path}：模型地址，模型格式是HuggingFace的目录格式。即Step3 上传代码包和权重文件上传的HuggingFace权重文件存放目录。如果使用了量化功能，则使用推理模型量化章节转换后的权重。如果使用的是训练后模型转换为HuggingFace格式的地址，还需要有Tokenizer原始文件。
ModelArts-Console访问地址 华北-北京四 https://console.huaweicloud.com/modelarts/?region=cn-north-4#/dataLabel?tabActive=labelConsole 华北-北京一 https://console.huaweicloud
如下以查询作业ID为10的可视化作业为例。 GET https://endpoint/v1/{project_id}/visualization-jobs/10 响应示例 成功响应示例 { "duration": 33000, "service_url": "https://console.huaweicloud
多个属性之间的操作类型。可选值如下： OR：或操作 AND：与操作 property Map<String,Array<String>> 标签属性，是Object格式，存放任意的键值对；key是属性名称，value是取值列表，如value为null表示不根据值搜索，否则搜索的值满足列表中任意一个即可。 type
ta/”。 表20 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型，包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。 枚举值： data_format：数据格式。 da
ta/”。 表20 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型，包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。 枚举值： data_format：数据格式。 da
迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。 代码目录如下: benchmark_tools
迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。 代码目录如下: benchmark_tools
迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。 代码目录如下: benchmark_tools
/home/ma-user/work/model/llama-2-13b-chat-hf 必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。
对Notebook的访问。 dev_service String 访问Notebook的途径，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。 SSH：可以通过SSH协议远程连接Notebook。 ssh_keys Array of strings S
0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 执行如下脚本进行权重转换生成量化系数，详细参数解释请参见https://github.com/NVIDIA/TensorR
0.9.0版本工具进行模型量化，工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 执行如下脚本进行权重转换生成量化系数，详细参数解释请参见https://github.com/NVIDIA/TensorR
无 请求示例 如下以修改uuid为2e5451fe-913f-4492-821a-2981031382f7的算法为例。 DELETE https://endpoint/v2/{project_id}/algorithms/2e5451fe-913f-4492-821a-2981031382f7
project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 无 响应参数 无 请求示例 删除数据集 DELETE https://{endpoint}/v2/{project_id}/datasets/{dataset_id} 响应示例 状态码： 204 No
ain/AscendSpeed/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。
表30 remote_constraint 参数 是否必选 参数类型 描述 data_type 否 String 数据输入类型，包括数据存储位置、数据集两种方式。 attributes 否 String 数据输入为数据集时的相关属性。枚举值： data_format 数据格式； data_segmentation
方法二：设置远端默认安装的插件 按照VS Code中设置远端默认安装的插件配置，即会在连接远端时自动安装，减少等待时间。 方法三：VS Code官网排查方式https://code.visualstudio.com/docs/remote/troubleshooting 小技巧（按需调整远端连接的相关参数）：
r”已重命名为“learning_rate”，在训练代码中必须写成“learning_rate”才能调用成功。keras官方文档请参见https://github.com/keras-team/keras/releases/tag/2.3.0。 处理方法 将训练代码里的参数名称“
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
