检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中,双击已开发完成的脚本名称,进入脚本开发页面。 提交脚本后在脚本编辑器上方单击“解锁”,解除锁定,便于后续其他开发者对此脚本进行修改更新。 图2 解锁 父主题: (可选)管理脚本
开发Shell脚本 数据开发支持对Shell脚本进行在线开发、调试和执行,开发完成的脚本可以在作业中调度运行(请参见开发Pipeline作业)。 前提条件 已新增Shell脚本,请参见新建脚本。 已新建主机连接,该Linux主机用于执行Shell脚本,请参见主机连接参数说明。
mppdb/.mppdbgs_profile 执行: cm_ctl query -Cv | grep Cen -A 4 结果如下: 找一个目录执行脚本gs_ccnqueue.sh, 输出结果如下图所示: 从图中我们可以看到 正在有一个作业在排队,(current
脚本 新增脚本 查询脚本列表 查询脚本详情 更新脚本 删除脚本 批量执行脚本或命令 查询脚本执行记录详情 查询脚本执行记录列表 查询脚本任务列表 重试脚本或执行脚本失败的任务 停止脚本或者命令执行任务 父主题: 云桌面API
脚本 AstroZero脚本概述 AstroZero脚本开发规则及约束限制 创建空白AstroZero脚本 定制已有AstroZero脚本 管理AstroZero脚本 自定义调用AstroZero脚本的URL 父主题: 使用AstroZero开发应用后端
如果用户进行自定义数据集预处理以及权重转换,可通过编辑 1_preprocess_data.sh 、2_convert_mg_hf.sh 中的具体python指令运行。本代码中有许多环境变量的设置,在下面的指导步骤中,会展开进行详细的解释。
配置脚本 配置update_hosts_linux.sh脚本 配置rollback_hosts_linux.sh脚本 父主题: 批量修改与还原源端Linux主机的Host配置
重试脚本或执行脚本失败的任务 功能介绍 重试脚本或执行脚本失败的任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
修改脚本 功能介绍 修改作业脚本:自定义脚本 约束条件: 脚本名称:同一租户下,脚本名称不能重复,最大字符64个字符,支持中文+字母+数字+下划线。 脚本内容最大4096个字符。 脚本参数个数最多20个。 脚本描述:最大256个字符。
脚本 运行脚本 调试脚本 获取脚本签名信息 获取脚本内置库信息 获取Flow公式信息 父主题: API
图1 选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。 图2 导出脚本 导入脚本 导入脚本功能依赖于OBS服务,如无OBS服务,可从本地导入。 您可以在脚本目录中导入一个或多个脚本文件。导入会覆盖开发态的内容,并自动提交一个新版本。
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 单击脚本目录中的,选择“显示复选框”。 图1 显示脚本复选框 勾选需要解锁的脚本,单击 > 批量解锁。弹出“解锁成功”提示。 图2 批量解锁 父主题: (可选)管理脚本
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中选择需要重命名的脚本,右键单击脚本名称,选择“重命名”。 图2 重命名 已经打开了的脚本文件不支持重命名。 在弹出的“重命名脚本名称”页面,配置新脚本名称。
删除脚本 本小节主要介绍如何删除线上脚本,管理脚本列表。 前提条件 已获取“脚本管理”模块管理权限。 操作步骤 登录堡垒机系统。 选择“运维 > 脚本管理 ”,进入脚本列表页面。 单个删除。 选择目标脚本,在相应“操作”列单击“删除”,弹出删除确认窗口。
后置脚本 后置脚本是在请求发送后执行的代码片段,主要用于验证请求返回的结果(断言)、将请求返回的结果数据写入环境变量等场景。可以在接口的“后置脚本”页面中单击“添加后置操作”,发送接口请求后将自动运行后置脚本。 断言 可以利用后置脚本验证API响应返回结果的正确性。
如何删除预置镜像中不需要的工具 预置的基础镜像中存在cpp、gcc等调试/编译工具,如果您不需要使用这些工具,可以通过运行脚本删除。 创建一个run.sh脚本文件,文件中的代码内容如下。然后在容器中执行sh run.sh命令运行脚本。 #!
训练的权重转换说明 以llama2-13b举例,使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换,则直接执行预训练任务。
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群,已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群,已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。
训练中的权重转换说明 以 llama2-13b 举例,运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换,则直接执行预训练任务。