检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
__ALL__：已标注 __NONE__：未标注 __UNCHECK__：待验收 __ACCEPTED__：验收通过 __REJECTED__：已驳回 __UNREVIEWED__：待审核 __REVIEWED__：已审核 __WORKFORCE_SAMPLED__：已采样 __WO
Dockerfile会下载Megatron-LM、MindSpeed、ModelLink源码，并将以上源码打包至镜像环境中。 如果用户希望修改源码，则需要使用新镜像创建容器，在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 训练作业
Dockerfile会下载Megatron-LM、MindSpeed、ModelLink源码，并将以上源码打包至镜像环境中。 如果用户希望修改源码，则需要使用新镜像创建容器，在容器内的/home/ma-user工作目录中访问并编辑以上源码文件。编辑完成后重新构建新镜像。 训练作业
json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例，用户可直接编辑 scripts/llama2/2_convert_mg_hf.sh 脚本，自定义环境变量
json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例，用户可直接编辑 scripts/llama2/2_convert_mg_hf.sh 脚本，自定义环境变量
像地址获取。 docker pull {image_url} Step3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 export work_dir="自定义挂载的工作目录" #容器内挂载的目录，例如/home/ma-user/ws
json等tokenizer文件或者其他json文件。若缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例，用户可直接编辑 scripts/llama2/2_convert_mg_hf.sh 脚本，自定义环境变量
json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例，用户可直接编辑 scripts/llama2/2_convert_mg_hf.sh 脚本，自定义环境变量
json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例，用户可直接编辑 scripts/llama2/2_convert_mg_hf.sh 脚本，自定义环境变量
#启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 确保Notebook内通网，已通网可以跳过这一步，未通网需要配置$config_proxy_str，$config_pip_str设置对应的代理和pip源，来确保当前代理和pip源可用。
txt 静态benchmark 运行静态benchmark验证脚本benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。 notebook中进行测试： cd benchmark_tools python benchmark_parallel.py --backend
hmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。 同步请求时，平台每次请求预测的时间不能超过60秒。例如输出数据比较大的调用请求（例如输出大于1k），请求预测会超过60秒导
json等tokenizer文件或者其他json文件。如果缺少则需要直接复制至权重转换后的文件夹中，否则不能直接用于推理。 用户自定义执行权重转换参数修改说明 同样以 llama2 为例，用户可直接编辑 scripts/llama2/2_convert_mg_hf.sh 脚本，自定义环境变量
ling数据后，可通过该工具自动扫描profiling数据，工具分析完数据后会给出可能的性能问题点及调优建议，用户可以根据调优建议做相应的修改适配。目前该工具对CV类模型给出的调优建议较多，LLM类建议稍少，但是总体都有性能提升，实测大约可提升10%~30%的性能，并且已经在多个迁移性能调优项目中实际应用。
ProcessorDataSource objects 数据处理任务的输入通道。 modified_sample_count Integer 处理后修改的图片数量。 origin_sample_count Integer 处理前的图片数量。 status Integer 数据处理任务的状态。可选值如下：
__ALL__：已标注 __NONE__：未标注 __UNCHECK__：待验收 __ACCEPTED__：验收通过 __REJECTED__：已驳回 __UNREVIEWED__：待审核 __REVIEWED__：已审核 __WORKFORCE_SAMPLED__：已采样 __WO
小时），就可以避免防火墙将连接断开。 服务器端配置（Notebook当前已经配置，24h应该是长于防火墙的断连时间配置，该配置无需用户手工修改，写在这里仅是帮助理解ssh配置原理）配置文件路径：/home/ma-user/.ssh/etc/sshd_config 每24h向cli
在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。 图3 复制登录指令 Step6 修改并上传镜像 1. 登录指令输入之后，使用下列示例命令： docker tag {image_url} <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称>
在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。 图3 复制登录指令 Step6 修改并上传镜像 1. 登录指令输入之后，使用下列示例命令： docker tag {image_url} <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称>
在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。 图3 复制登录指令 Step6 修改并上传镜像 1. 登录指令输入之后，使用下列示例命令： docker tag {image_url} <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
