检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
doc_ids # for now, only input_ids are saved sample[key] = list(map(lambda x: x['input_ids'], sample[key])) return sample 支持的是预训练数据风格,会根据参数args
doc_ids # for now, only input_ids are saved sample[key] = list(map(lambda x: x['input_ids'], sample[key])) return sample 支持的是预训练数据风格,会根据参数args
异常怎么办? 在ModelArts自动学习中,如何进行增量训练? 创建自动学习项目时,如何快速创建OBS桶及文件夹? 自动学习生成的模型,存储在哪里?支持哪些其他操作? 自动学习训练后的模型是否可以下载?
当前数据导出后存储的OBS路径。 “输出路径”:表示新数据集的输出路径,即新数据集在完成标注后输出的路径。“输出路径”不能与“保存路径”为同一路径,且“输出路径”不能是“保存路径”的子目录。 图1 导出新数据集 数据导出成功后,您可以前往您设置的保存路径,查看到存储的数据。当导出
种导入方式,需要将导入的数据或Manifest文件提前存储至OBS目录中。 本地上传:将本地数据直接通过Internet上传至OBS指定目录后,再导入数据集。 表格型数据来源 表格数据集支持从5种数据源导入数据,分别为对象存储服务(OBS)、数据仓库服务(DWS)、数据湖探索服务
用户项目ID,获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 category 否 String 存储类型。可选值为OBS。 mount_path 否 String 在Notebook实例中挂载的路径,必须在Notebook的/data/的子目录下。
上传txt、压缩后文件夹的Python示例代码如下。代码中的“/home/ma-user/work/xxx”为文件在Notebook中的存储路径,“obs://bucket_name/xxx”为该文件上传到OBS的存储路径,请您按照实际路径进行修改。 上传一个obs_file.txt文件,从Notebook上传至OBS。
input_shape="data:1,3,224,224" # 不指定输出路径,则默认在当前执行目录存储结果 t.run(input_shape=input_shape, output_path="/home/xxx") 运行结果将存储在output文件夹中,如果用户指定了output_path,会指定位置
当前数据导出后存储的OBS路径。 “输出路径”:表示新数据集的输出路径,即新数据集在完成标注后输出的路径。“输出路径”不能与“保存路径”为同一路径,且“输出路径”不能是“保存路径”的子目录。 图1 导出新数据集 数据导出成功后,您可以前往您设置的保存路径,查看到存储的数据。当导出
在控制台左侧导航栏的服务列表,选择“对象存储服务OBS”,进入OBS服务详情页面。 在左侧导航栏选择“桶列表”,在列表详情,找到自己创建的OBS桶,单击桶名称,进入OBS桶详情。 在桶的详情页,左侧导航栏选择“对象”,在右侧“名称”列选中不需要的存储对象,单击“操作”列的“更多>删除”,即可删除相应的存储对象。 常见问题
在控制台左侧导航栏的服务列表,选择“对象存储服务OBS”,进入OBS服务详情页面。 在左侧导航栏选择“桶列表”,在列表详情,找到自己创建的OBS桶,单击桶名称,进入OBS桶详情。 在桶的详情页,左侧导航栏选择“对象”,在右侧“名称”列选中不需要的存储对象,单击“操作”列的“更多>删除”,即可删除相应的存储对象。 常见问题
下载方式:选择“对象存储服务(OBS)” 目标区域:选择“华北-北京四”(即要部署服务的云服务区) 目标位置:请选择一个空的OBS目录,本示例为“/test-modelartsz/dataset-flower/” 此处从AI Gallery下载并使用数据集是限时免费的,但数据集存储在OBS,
控制采样的随机性的浮点数。较低的值使模型更加确定性,较高的值使模型更加随机。0表示贪婪采样。 stop 否 None None/Str/List 用于停止生成的字符串列表。返回的输出将不包含停止字符串。 例如:["你","好"],生成文本时遇到"你"或者"好"将停止文本生成。 stream
个节点池时不支持删除。 查看节点池的存储配置 在节点池管理的更新页面,可以查看该节点池配置的系统盘、容器盘或数据盘的磁盘类型、大小、数量、写入模式、容器引擎空间大小、挂载路径磁盘配置等参数。 在Lite资源池的扩缩容页面,也可以查看节点池的存储配置信息。 查找搜索节点池 在节点池
5 6 7 from modelarts.session import Session # 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以password保存在环境变量中来实现身份验
在ModelArts数据集中添加图片对图片大小有限制吗? 如何将本地标注的数据导入ModelArts? 在ModelArts中数据标注完成后,标注结果存储在哪里? 在ModelArts中如何将标注结果下载至本地? 在ModelArts中进行团队标注时,为什么团队成员收不到邮件? ModelArts团队标注的数据分配机制是什么?
“--train_url”参数时,工具在提交训练作业时会在命令后面自动添加这两个参数,分别对应存储训练数据的OBS路径和存放训练输出的OBS路径。 Data OBS Path 设置为存储训练数据的OBS路径,例如“/test-modelarts2/mnist/dataset-mn
"state": "", "size": 4790, "tags": null, "attr_list": null, "version_num": 0, "update_time": 0 },
commit,再配合一系列自动化操作来上传和更新管理数据等。每次Commit都会带来额外的一些开销,层数越多镜像越大,如果多次保存后就会有存储显示没那么大,但是镜像已经很大。镜像超大会导致加载的各种问题,所以这里做了限制。这种场景下,建议找到原始镜像重新构建环境进行保存。 解决方法
大小写字母,数字和“!@#$%^&*_=|?/':.;,”其中的某一字符。 否 str 使用案例 主要包含三种场景的用例: 场景一:将指定存储路径下的数据导入到目标数据集中。适用于需要对数据集进行数据更新的操作。 用户将指定路径下已标注的数据导入到数据集中(同时导入标签信息),后