检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
读取文件报错,如何正确读取文件 问题现象 创建训练作业如何读取“json”和“npy”文件。 训练作业如何使用cv2库读取文件。 如何在MXNet环境下使用torch包。
算法结果TXT格式说明 表1 算法结果的txt格式 算法 支持程度 header content e.g. all_pairs_shortest_paths 本地,OBS # runtime: {runtime} # paths_number: {paths_number} # data_total_size:
是 Object 边ID属性信息,JsonArray格式。当前仅支持一个属性。 导入文件更新属性的csv文件格式如下: 点文件:点ID。 边文件(不包含label):源点ID,目的点ID。 边文件(包含label):源点ID,目的点ID,label,边ID属性。 响应参数 表4 响应Body参数说明
按文件更新/删除数据 代码样例文件路径 代码样例文件名 对应的API com.huawei.ges.graph.sdk.v1.examples.fileoperation ImportPropertiesSample 通过导入文件更新点边的指定属性 DeleteByFileSample
单线程生成文件数 16 1 2 1 1 第一个文件名 00.000.txt 00.000.txt 00.00.txt 00.00.txt 00.00.txt 最后一个文件名 01.015.txt 031.000.txt 01.01.txt 03.00.txt 00.00.txt 百亿
true } 请求参数 导入文件更新属性的csv文件格式如下: 点文件(包含label):点ID,label,property_1,…property_n 点文件(不包含label):点ID,property_1,…property_n 边文件:源点ID,目的点ID,label
从本地导入 “选择本地文件”:单击“上传”,选择本地的文件。 文件格式必须为xml格式。 “名称”:元数据在图引擎服务中的文件名称。 “存储路径”:选择元数据文件存储的OBS路径。 图1 从本地导入元数据 从OBS导入 “选择文件路径”:单击从OBS中选择元数据文件。 文件格式必须为xml。
为防止系统重启时,不能正常恢复导入图数据,建议在使用图期间,不要删除存储在OBS中的数据。 导入目录下的单文件或者导入的单文件大小不能超过5GB,如果超过5GB,则会导入失败,建议把文件拆成小于5GB的多个文件后再导入。 单次导入的文件总大小(包括点、边数据集)不能超过可用内存的1/5。可用内存参考“运维监控看
按页导出时每个文件的最大行数,默认值为1000000。 numThread 否 Integer 按页导出时的并行线程数,默认为8 ,最大不超过内核数。 maxSizePerFile 否 Integer 按页导出时每个文件大小的最大值,单位是byte,默认不超过导入时最大文件约束。 表4
否 Int 按页导出时每个文件的最大行数,默认最大为10000000。 numThread 否 Int 按页导出时的并行线程数,默认为8。 maxSizePerFile 否 Int 按页导出时每个文件大小的最大值,单位是byte,默认不超过导入时最大文件约束。 响应参数 表4 响应Body参数说明
edgesetPath 是 String 边文件目录或边文件名,支持csv、txt格式文件导入。 vertexsetPath 是 String 点文件目录或点文件名,支持csv、txt格式文件导入。 schemaPath 是 String 新增数据的元数据文件OBS路径。 logDir 否 String
为防止系统重启时,不能正常恢复导入图数据,建议在使用图期间,不要删除存储在OBS中的数据。 导入目录下的单文件或者导入的单文件大小不能超过5GB,如果超过5GB,则会导入失败,建议把文件拆成小于5GB的多个文件后再导入。 单次导入的文件总大小(包括点、边数据集)不能超过可用内存的1/5。可用内存参考运维监控看板
合指定的格式,则需要将数据整理为GES支持的格式。 GES支持的图数据格式包含三部分:点文件、边文件以及元数据。 点文件用于存放点数据。 边文件用于存放边数据。 元数据用于描述点文件和边文件中的数据格式。 概念说明 GES基于属性图模型导入图数据,因此,您需要了解属性图(Property
如果导入或创建的元数据文件不符合业务诉求,需要进行变更,您可以通过编辑元数据对Label和Property进行修改。 编辑元数据文件完成后,将覆盖之前的元数据文件。为避免数据丢失,建议您在编辑前,先复制一份元数据。 操作步骤 在“元数据管理”页面,编辑元数据有两个入口: 单击对应元数据文件名称,
删除元数据 当元数据文件失效后,您可以在“元数据管理”页面,对应的元数据文件“操作”列中单击“删除”,来删除元数据文件。 数据删除后无法恢复,请谨慎操作。 图1 删除元数据 父主题: 元数据操作
编辑元数据时,会覆盖之前的元数据文件,为避免原始元数据文件丢失,建议您在编辑元数据之前,先复制一份元数据。 操作步骤 在“元数据管理”页面,复制元数据有两个入口: 单击对应元数据文件名称,进入元数据详情页,在页面底端单击“复制”。 在对应的元数据文件的“操作”列,单击“复制”。 定义元数据文件名称以及存储路径。
创建元数据 如果本地或OBS中都没有元数据文件,您可以手动创建元数据文件。 可创建的元数据文件数上限为50,达到上限将不能创建元数据。 操作步骤 在“元数据管理”页面,单击右上角“创建”。 在“创建”页面输入以下参数。 “名称”:输入元数据的名称,文件格式默认为xml。 “存储路径”:选
点数据集:点文件目录或点文件名,支持csv、txt格式文件导入。 边数据集:边文件目录或边文件名,支持csv、txt格式文件导入。 元数据:新增数据的元数据文件OBS路径。 日志存储路径:导入图日志存放目录,用于存储导入失败的数据和详细错误原因。 字段分隔符:csv格式文件字段分隔符,默认值为逗号(
您需要在本地准备好需要上传的元数据文件,将元数据文件导入到图引擎服务中以便后续进行图分析。 准备上传的元数据文件需要注意以下几点: 可导入的元数据文件数上限为50,达到上限将不能再继续导入元数据。 元数据文件的格式必须为xml格式。 导入元数据至OBS(可选) 您可以提前将准备好的元数据文件上传至OBS桶中,以便后续导入到图引擎服务中使用。
参数 是否必选 类型 说明 format 否 String 算法结果的输出格式。可选值是["JSON", "TXT"],默认值是"JSON"。TXT格式请参考算法结果TXT格式说明。 mode 否 String 算法结果的输出模式。可选值是["FULL", "TRUNCATED"]。默认值是"TRUNCATED"。
HyG算法API 执行算法 算法API参数参考 算法结果TXT格式说明 执行DSL算法 DSL语法说明 父主题: 持久化版