检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在命令行界面输入如下信息,建立挂载SFS_Turbo的本地路径。 mkdir 本地路径 找到所使用的SFS_Turbo文件系统,单击名称进入基本信息页面,复制对应的挂载命令。 图10 挂载命令 其中红框标注的位置换成3中所建立的本地路径。 挂载完成后,执行如下命令,查看已挂载的文件系统。
指计算节点所属的CCE或IEF容器的工作负载,目前支持“OBS存储”和“主机存储”方式。“OBS存储”方式是将OBS服务中的路径映射到服务容器内的本地路径,“主机存储”方式是指将计算节点所在机器的本地路径映射到服务容器内的本地路径。 主机路径 挂载使用的容器外部的路径,用于服务容器内和外部数据交互。用户只有在工作路径
差分隐私动态调整阈值的记录条数 dp.supply.store.policy 是 String 标签方回填存储策略,0不回填,1内存存储(默认),2磁盘存储 表6 ModelParamVo 参数 是否必选 参数类型 描述 predict_threshold 否 Float 预测阈值,最小值0,最大值1
运行环境 表示可信联邦学习作业在本地运行。 执行脚本 用户本地的自定义执行脚本,样例请参考准备本地横向联邦数据资源中步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数 模型的初始权重,样例请参考准备本地横向联邦数据资源中步骤3。 迭代次数
政府多委办局之间密文数据融合计算,实现多方数据的融合分析。 基于隐私集合求交实现多方安全SQL JOIN分析, 原始数据保存在各个用户本地,统计分析算子下推到本地数据域执行。 多方分析JOIN算子进行数据隐私保护,计算过程将多方加密后数据完成计算,计算结果加密返回给数据使用方。 支持自定
空间组建完成,参考组建空间。 空间成员完成计算节点部署,配置参数时选择存储方式和数据目录,参考4.1 部署计算节点。 空间成员完成数据集准备工作,参考准备本地横向联邦数据资源。 空间成员在数据目录中完成数据发布,参考4.6.4 发布数据。 对接MA的计算节点如果是使用子账号进行创建的,需要参考配
算节点只能选择LOCAL。 执行脚本 用户本地的自定义执行脚本,样例请参考准备本地横向联邦数据资源中步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数 评估时必填,训练时可选,样例请参考准备本地横向联邦数据资源中步骤3。 迭代次数 即epoch,数据迭代计算的次数。
执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序,用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。在作业的数据集配置中,选择己方、对方的本地数据集,此外需将已方的数
因此模型文件result_10为该线性模型的系数加上偏置项。 图2 查看模型结果文件 本地利用测试集评估模型。可以采用如下脚本,会打印出模型在测试集上的准确率和AUC两个指标。 图3 本地评估模型的Python脚本 父主题: 测试步骤
如何调用计算节点API 构造请求 认证鉴权 返回结果
快速入门 TICS使用流程简介 步骤1:准备工作 步骤2:空间组织方邀请成员 步骤3:成员接受邀请 步骤4:(可选)下载计算节点配置信息 步骤5:空间成员部署计算节点 步骤6:空间成员发布数据 步骤7:空间成员创建作业 入门实践
空间成员完成计算节点部署,配置参数时选择挂载方式和数据目录,参考部署计算节点。 空间成员在计算节点中完成数据发布,参考发布数据。 约束限制 避免作业名重复。 支持本地连接器配置的CSV类型数据集。 支持DWS连接器配置的DWS数据集。 支持API连接器配置的API数据集。 创建实时隐匿查询作业 用户登录进入计算节点页面。
如何调用空间API 构造请求 认证鉴权 返回结果
方数据资源的功能。参与方填写连接信息来创建对应类型的连接器,并通过这些连接器访问到各类型资源的结构化信息。当前支持MRS服务(Hive)、本地数据集、RDS数据集、DWS数据集、Oracle数据集、Mysql数据集,后续会支持更多华为云服务及原生服务的资源访问功能。连接信息中的敏感部分不会离开参与方侧。
ORACLE--ORACLE数据类型 6.LOCAL_CSV--本地数据类型 ag_dataset_table 否 AgDatasetTableVo object 数据集表信息 ag_dataset_local 否 AgDatasetLocalVo object 本地数据集信息 ext_columns 否
登录用户名”和“密码”。 图2 前往计算节点 选择界面左侧“数据管理>数据创建”,单击“创建”,可选“本地连接器”或者“关系型数据库连接器”。 本地连接器:在弹出的界面选择本地连接器(localConnector),选择“结构化”数据类型,再配置创建数据的参数,配置完成后单击“确定”。
本节实验包含了如下三个部分:(1)训练轮数对联邦学习模型分类性能的影响;(2)迭代次数对联邦学习模型分类性能的影响;(3)参与方数据量不同时,本地独立训练对比横向联邦的模型性能。 不同训练参数对模型准确率、训练时长的影响 训练轮数对模型准确率的影响(迭代次数固定为20) 训练轮数 1
创建申请 用数方可以在数据目录选取需要的数据集,创建数据申请并描述需求,发送至供数方审视需求。 支持的数据源类型:CSV或者二进制的本地文件、MySQL、Hive,其中MySQL和Hive的数据集配置可参照管理数据章节。 前提条件 空间组建完成,参考组建空间。 空间成员完成计算节
发起方、参与方各自根据合约仓库章节中下载模板的描述,下载“数据上链存证和查询合约模板(又称链代码)”并保存到本地。 发起方、参与方各自按照链代码管理章节中“安装链代码”部分的描述,上传步骤4中已保存至本地的链代码压缩包。 注意事项: “链代码名称”参数值须为“ticsrule”。 “链代码版本”须为“1
发布后可在“数据管理>数据创建”页面查看生成的数据集。 图8 查看生成的数据集 (可选)单击作业列表中对应作业的“更多>下载参数配置”,下载本地文件。文件包含字段在作业开发页面使用预处理方法及参数,便于后期线下处理数据。 评估/预测数据预处理 参考创建数据预处理作业,在“数据管理>