检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 推理服务流程图 出现APIG.XXXX类型的报错，表示请求在APIG（API网关）出现问题而被拦截。 常见问题请参见服务预测失败，报错APIG.XXXX。 其他被APIG（API网关）拦截的场景： Method Not Allowed 请求超时返回Timeout 出现ModelArts
String APP类型。枚举值如下： APIC：该APP注册在roma connect网关上 APIG：该APP注册在共享API网关上 DEDICATE_APIG：该APP注册在专享API网关上 bounded_api_count Integer APP绑定API数量。 created_at
本案例中使用的MNIST是比较简单的用做demo的数据集，配套算法也是比较简单的用于教学的神经网络算法。这样的数据和算法生成的模型仅适用于教学模式，并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求，预测图片必须和训练集中的图片相似（黑底白字）才可能预测准确。 图8 示例图片 图9 预测结果展示 Step7
自定义解密函数，认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件中密文存放，使用时解密，确保安全。 配置文件中，账号密码认证和AK/SK认证二选一即可。如果使用账号密码认证，则需要填写配置项“iam_domain”、“iam_user”和“iam_passw
服务部署完成且服务处于运行中后，可以往该服务发送推理的请求，请求的内容根据模型的不同可以是文本，图片，语音，视频等内容。 当使用调用指南页签中显示的调用地址（华为云APIG网关服务的地址）预测时，对请求体的大小限制是12MB，超过12MB时，请求会被拦截。 如果是从ModelArts console的预测页签进行
py”中，需要添加一个子类，该子类继承对应模型类型的父类，各模型类型的父类名称和导入语句如表1所示。导入语句所涉及的Python包在ModelArts环境中已配置，用户无需自行安装。 表1 各模型类型的父类名称和导入语句 模型类型 父类 导入语句 TensorFlow TfServingBaseService
端访问该地址不通，出现无法连接、域名无法解析的现象。 原因分析 在调用指南页签中显示的调用地址都是华为云APIG（API网关服务）的地址。调用发起方的客户端和华为云网络不通。 处理方法 如果客户端位于华为云网络之外，保证客户端所处的网络环境可以连接Internet； 如果客户端位
进入订单支付页面，确认订单信息，单击“确认付款”。 购买公网NAT网关。 登录华为云管理控制台。 在左侧服务列表中，单击“网络 > NAT网关 NAT”，进入公网NAT网关页面。 单击“购买公网NAT网关”。 选择Server所使用“虚拟私有云”和“子网”，计费模式根据实际需求选择。其余参数配置可使用默认值，单击“立即购买”。
自定义容器在ModelArts上训练和本地训练的区别如下图： 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下： 建议使用OBSutil作为和OBS交互的工具，如何在本机安
【下线公告】华为云ModelArts MindStudio/ML Studio/ModelBox镜像下线公告 华为云ModelArts服务MindStudio，ML Studio，ModelBox镜像将在2024年6月30日00:00（北京时间）正式退市。 下线范围 下线Region：华为云全部Region
Standard使用run.sh脚本实现OBS和训练容器间的数据传输 自定义容器在ModelArts上训练和本地训练的区别如下图： 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下：
String APP类型。枚举值如下： APIC：该APP注册在roma connect网关上 APIG：该APP注册在共享API网关上 DEDICATE_APIG：该APP注册在专享API网关上 bounded_api_count Integer APP绑定API数量。 created_at
服务部署。 约束与限制 需要申请单个模型大小配额和添加使用节点本地存储缓存的白名单。 需要使用自定义引擎Custom，配置动态加载。 需要使用专属资源池部署服务。 专属资源池磁盘空间需大于1T。 操作事项 申请扩大模型的大小配额和使用节点本地存储缓存白名单 上传模型数据并校验上传对象的一致性
BF16和FP16说明 在大模型训练中，BF16（Brain Floating Point）和FP16（Float16）都是使用的半精度浮点数格式，但它们在结构和适用性上有一些重要的区别。 BF16：具有8个指数位和7个小数位。在处理大模型时有优势，能够避免在训练过程中数值的上溢
BF16和FP16说明 在大模型训练中，BF16（Brain Floating Point）和FP16（Float16）都是使用的半精度浮点数格式，但它们在结构和适用性上有一些重要的区别。 BF16：具有8个指数位和7个小数位。在处理大模型时有优势，能够避免在训练过程中数值的上溢
0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（可二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运行环
0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（可二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运行环
0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运行环
0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（可二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运行环
0.rc3 PyTorch：2.1.0 基础镜像的使用 用户通过ECS获取和上传基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过使用基础镜像、ECS中构建新镜像的方式（可二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运行环
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
