检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可信联邦学习作业是可信智能计算服务提供的在保障用户数据安全的前提下,利用多方数据实现的联合建模。 安全可信。 多种训练场景。 方便与已有服务对接。 使用场景 横向联邦机器学习 横向联邦机器学习,适用于参与者的数据特征重叠较多,而样本ID重叠较少的情况,联合多个参与者的具有相同特征的多行样本进行可信联邦学习,联合建模。
作业描述可按需填写。 勾选参与双方的数据集,同时单击右侧已选数据集的对齐列框选择需要求交集的字段信息。 对齐列只能选择非敏感的唯一标识。 选择求交算法。 选择椭圆曲线。 选择大数据量节点。 配置重试参数。开关开启后,执行失败的作业会根据配置定时进行重试,仅对开启后的执行作业生效。开关关闭后
场景描述 某企业A在进行新客户营销时的成本过高,想要通过引入外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。
登录到计算节点对应的宿主机。 执行“docker ps -a”命令,查看NAMES为“k8s_db”开头容器的CONTAINER ID,该ID由数字和小写字母组成。 执行“docker exec -it {CONTAINER ID} bash”命令,登录到容器中,命令中的{CONTAINER
Scikit-Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此外由于原始的数据集较小,采用了Imb
从上面两张表可以看出: (1)训练轮数对于联邦学习模型的性能影响不大,这主要是由于乳腺癌数据集的分类相对简单,且数据集经过了扩充导致的; (2)增大每个参与方本地模型训练的迭代次数,可以显著提升最终联邦学习模型的性能。 参与方数据量不同时,独立训练对比横向联邦训练的准确率 本节实验不再将训练集均匀划
管理任务 任务管理是可信智能计算服务提供的一项查看计算节点参与任务的功能。通过任务管理,用户可以查看到曾在该计算节点上执行过的所有作业,并查看自己这个计算节点在作业中的位置以及数据流向。 通过任务管理,用户可以查看自己的计算节点在空间中的作业参与度,并通过“计算过程”来确认数据是否合理、安全地被使用。
本案例以“预测乳腺癌是良性/恶性”的场景为例。假设一部分的乳腺癌患者数据存储在xx医院,另一部分数据存储在某个其他机构,不同机构数据所包含的特征相同。 这种情况下,xx医院想申请使用其他机构的乳腺癌患者数据进行乳腺癌预测模型建模会非常困难。因此可以通过华为TICS可信智能计算平台的横向联邦功能,实
数据需求方公司B在自己的计算节点页面上可以查看数据目录,找到数据拥有方公司A创建并发布的数据。 图1 创建数据申请 对数据集单击“申请使用”,在弹窗中填写需要使用的字段和访问需求,保存后可以提交审批,由公司A审核。 访问需求包括: 访问截止时间:设置访问的时间限制,超过访问时间后,对方的访问权限
的路径映射到服务容器内的本地路径,“主机存储”方式是指将计算节点所在机器的本地路径映射到服务容器内的本地路径。 主机路径 挂载使用的容器外部的路径,用于服务容器内和外部数据交互。用户只有在工作路径中放置数据集等文件,服务才能读取到;服务运行作业生成的结果、日志文件也会输出到工作目录,供用户查看、获取。
样本对齐 单击右下角的下一步进入“样本对齐”页面,这一步是为了进行样本的碰撞,过滤出共有的数据交集,作为后续步骤的输入。企业A需要选择双方的样本对齐字段,并单击“对齐”按钮执行样本对齐。执行完成后会在下方展示对齐后的数据量及对齐结果路径。 父主题: 使用TICS可信联邦学习进行联邦建模
保证目录下至少包含一个csv文件,且所有csv文件的特征数保持一致。此外,选择数据集的原始文件,需要指定csv文件的“分隔符”、“是否包含表头”。“是否包含表头”是指文件的第一行是否是每一个字段的名称。 数据结构:配置每个字段的类别标签,包括以下几种: “字段类型”:支持BOOL
项目名 TICS所属的项目名。 Project Name 项目ID TICS所属的项目ID。 1551c7f6c808414d8e9f3c514a170f2e 账户名 用户所属的企业账户名称。 Account Name 用户名 使用云服务的用户名,该用户需要拥有TICS的操作权限。 Username
dpoint。 获取终端节点 终端节点(Endpoint)即调用空间API的请求地址,不同服务不同区域的终端节点不同。 可信智能计算服务的终端节点Endpoint构造规则如下,请您根据业务需要选择对应区域的终端节点。 表1 可信智能计算服务Endpoint 区域名称 区域ID 终端节点(Endpoint)
场景描述 某企业A在进行新客户营销时的成本过高,想要通过引入外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。
场景描述 某企业A在进行新客户营销时的成本过高,想要通过引入外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。
隐私保护等级:高级别时,默认启用高安全性的隐私计算的算法保障计算过程的安全,例如秘密分享加密、PSI等,但可能会影响性能以及部分作业正常执行。低级别时,使用国际标准的对称和非对称加密结合方式,在安全沙箱内进行解密计算。性能和灵活度较高。 结果差分隐私:开启时,使用差分隐私算法对多方安全计算作业的执行结果添加
关闭后的执行作业生效。 对重试操作配置后,配置CPU配额和内存配额。执行批量预测作业时,会创建新容器来执行,这两个配额参数的值为创建新容器的CPU核数和内存大小,默认CPU核数为1,内存大小512M。 然后勾选“选择训练作业”列表中的某一训练作业,然后勾选“选择模型”列表中对应模型,最后单击“确定”按钮完成作业创建。
评估型横向联邦作业流程 基于横向联邦作业的训练结果,可以进一步评估横向联邦模型,将训练好的模型用于预测。 选择对应训练型作业的“历史作业”按钮,获取最新作业的模型结果文件路径。 图1 查看模型结果文件的保存位置 前往工作节点上步骤1展示的路径,下载模型文件。由于Logistic
供数方接受用数方的数据使用需求,审视是否符合用数方需求或与前期的约定一致,若不符合,可拒绝申请;若符合,则确认申请,接下来便拟定合约,发送给用数方签署。 前提条件 存在已创建的申请。 约束限制 仅供数方操作,即该数据集的提供方去确认申请。 用数方提交申请后未撤回的申请,一旦供数方确认申请,申请内容无法修改。