检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备数据 企业A的实时业务不需要准备数据,在发起查询时通过参数传递需要查询的用户id。 表1 企业B用户画像数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 f0-f4 float 用户数据画像特征 bigdata_all.csv id,f0,f1,f2
创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。 执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序,用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。在作业的数据集
乳腺癌预测研究应用场景示意 作业发起方通过计算节点上传数据、待训练模型的定义文件; 作业发起方配置TICS的横向联邦学习作业,启动训练; 模型参数、梯度数据在TICS提供的安全聚合节点中进行加密交换; 训练过程中,各参与方计算节点会在本地生成子模型,由TICS负责安全聚合各子模型的参数,得到最终的模型;
首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float 企业A数据特征 label
ues/{league_id} 表1 路径参数 参数 是否必选 参数类型 描述 league_id 是 String 空间id,最大32位,字母和数字组成 project_id 是 String 项目id,最大32位,字母和数字组成 请求参数 表2 请求Header参数 参数 是否必选
is_header_exist 是 Boolean 数据文件是否包含表头 data_file_path 是 String 数据文件地址 id_file_path 否 String id文件地址 config_file_path 否 String 配置文件地址 auto_generate_data
的本地路径。 主机路径 挂载使用的容器外部的路径,用于服务容器内和外部数据交互。用户只有在工作路径中放置数据集等文件,服务才能读取到;服务运行作业生成的结果、日志文件也会输出到工作目录,供用户查看、获取。
据目录时,必须保证目录下至少包含一个csv文件,且所有csv文件的特征数保持一致。此外,选择数据集的原始文件,需要指定csv文件的“分隔符”、“是否包含表头”。“是否包含表头”是指文件的第一行是否是每一个字段的名称。 数据结构:配置每个字段的类别标签,包括以下几种: “字段类型”
Zone)是同一区域内,电力和网络互相隔离的物理区域,一个可用区不受其他可用区故障的影响。一个区域内可以有多个可用区,不同可用区之间物理隔离,但内网互通,既保障了可用区的独立性,又提供了低价、低时延的网络连接。 区域(Region):从地理位置和网络时延维度划分,同一个Regio
gue_id}/audit-info 表1 路径参数 参数 是否必选 参数类型 描述 league_id 是 String 空间id,最大32位,字母和数字组成 project_id 是 String 项目id,最大32位,字母和数字组成 表2 Query参数 参数 是否必选 参数类型
最新作业的模型结果文件路径。 图1 查看模型结果文件的保存位置 前往工作节点上步骤1展示的路径,下载模型文件。由于Logistic Regression模型本质上还是线性模型,因此模型文件result_10为该线性模型的系数加上偏置项。 图2 查看模型结果文件 本地利用测试集评估
/v1/{project_id}/overview/statistics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,最大32位,字母和数字组成 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
什么是项目? 什么是项目? 云的每个区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以区域默认单位为项目进行授权,IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,
请自行关注部署节点的系统安全防护与配置加固,确保机器在安全的前提下进行隐私计算节点部署。 CCE服务委托授权 由于CCE在运行中对计算、存储、网络以及监控等各类云服务资源都存在依赖关系,因此当您首次登录CCE控制台时,CCE将自动请求获取当前区域下的云资源权限,从而更好地为您提供服务。
多方安全计算作业。 多方安全计算作业在TICS中进行解析和任务计划构建,并下发任务给各个数据参与方所在的计算节点。 参与方计算节点从租户侧网络内的数据中获取数据,并使用安全算法进行加密输出。 数据在TICS提供的服务器中进行机密计算。 最终将计算完成的结果加密返回给作业发起方。
请自行关注部署节点的系统安全防护与配置加固,确保机器在安全的前提下进行隐私计算节点部署。 CCE服务委托授权 由于CCE在运行中对计算、存储、网络以及监控等各类云服务资源都存在依赖关系,因此当您首次登录CCE控制台时,CCE将自动请求获取当前区域下的云资源权限,从而更好地为您提供服务。
AOM服务查看可信节点日志 用户登录华为云。 搜索AOM服务,进入AOM服务控制台。 在AOM左侧功能列表选择日志文件,右侧集群下拉列表选择可信计算节点,即可查看对应日志文件。 图4 AOM日志文件 父主题: 计算节点管理
样本粗筛:当己方数据过大无法导出成文本文件时,可以使用样本粗筛获取合作方的明文id前缀,使用大数据组件筛选出id前缀相符的数据,达到减少数据量的目的。样本粗筛时还可以选择多个标记为“非敏感”的字段进行过滤,结果会按照“id前缀,过滤字段1,过滤字段2……”的格式保存成csv文本文件。 选择完成后单击“下一步”。
36 123400990,39,63 执行如下SQL语句,将csv文件内的数据导入创建的数据表。 LOAD DATA INFILE 'csv数据文件名' INTO TABLE 表名 或者执行如下的插入语句: Tax表: insert into tax values (123400999
36 123400990,39,63 执行如下SQL语句,将csv文件内的数据导入创建的数据表。 LOAD DATA INFILE 'csv数据文件名' INTO TABLE 表名 或者执行如下的插入语句: Tax表: insert into tax values (123400999