检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的前提下,通过多方联合建模,金融机构补充了风控模型特征维度,提升模型准确率。 优势: 提升模型准确率 多方机构实现算法层面联合建模,提升了需求方模型的预测效果。 数据隐私保护强 多方采用隐私集合求交PSI对齐样本数据,本地数据或模型加密后在安全环境中运算,实现数据可用不可得。精细
行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。 基于多方安全计算功能准备好合适的数据,本文主要介绍双方对已有的数据进行样本对齐、特征筛选和联邦建模,并对产生的模型进行评估。 父主题:
过引入外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。 本文主要介绍在
作业发起方通过计算节点上传数据、待训练模型的定义文件; 作业发起方配置TICS的横向联邦学习作业,启动训练; 模型参数、梯度数据在TICS提供的安全聚合节点中进行加密交换; 训练过程中,各参与方计算节点会在本地生成子模型,由TICS负责安全聚合各子模型的参数,得到最终的模型; 空间的整体配置通过空间管理员进行统一管理。
合建模。 模型评估 评估训练得出的模型权重在某一数据集上的预测输出效果。 纵向联邦机器学习 纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行联邦机器学习,联合建模。 已发布区域:北京四、北京二 如何创建横向训练型作业?
文件管理是可信智能计算服务提供的一项管理联邦学习模型文件的功能。参与方无需登录后台手动导入模型文件,通过该功能即可将模型文件上传到数据目录,并支持批量删除。在创建联邦学习作业时可以选到上传的脚本模型等文件,提高了易用性及可维护性。 使用场景:管理联邦学习作业所需的脚本、模型、权重文件。 父主题: 可信联邦学习作业
String 发起方agent别名,最大长度128 boot_file_url 是 String 训练脚本路径,最大长度512 model_file_url 是 String 模型路径,最大长度512 engine_id 否 String 引擎id,最大长度50 spec_id 否
两个配额参数的值为创建新容器的CPU核数和内存大小,默认CPU核数为1,内存大小512M。 然后勾选“选择训练作业”列表中的某一训练作业,然后勾选“选择模型”列表中对应模型,最后单击“确定”按钮完成作业创建。 参数配置完成后,单击确认,完成批量预测任务的创建。 父主题: 批量预测
步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数 模型的初始权重,样例请参考准备本地横向联邦数据资源中步骤3。 迭代次数 即epoch,数据将会被执行的次数。评估型作业的迭代次数固定为1。 训练轮数 训练的轮数,每一轮训练结束都会对各
host_agent_name String 发起方可信计算节点名称,最大长度128 boot_file_url String 训练脚本路径,最大长度512 model_file_url String 模型路径,最大长度512 engine_id String 引擎id,最大长度50 spec_id String
LR纵向联邦学习主要用于具有线性边界的二分类问题,支持用户双方训练联合逻辑回归(LR)模型。相较于单方训练,纵向联邦LR训练覆盖用户双方特征,模型预测精度更高。TICS采用SEAL同态加密确保双方数据交互安全,通过批处理技术进一步提升联邦训练性能。 公测 创建纵向联邦学习作业 2 样本对齐支持PSI算法
使用TICS可信联邦学习进行联邦建模 场景描述 准备数据 发布数据集 创建可信联邦学习作业 选择数据 样本对齐 筛选特征 模型训练 模型评估 父主题: 纵向联邦建模场景
联邦预测作业管理 查询联邦预测作业列表 查询训练作业下的成功模型 父主题: 计算节点API
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串
|,长度要求在1~128之间。 description 否 String 作业描述,最大长度512 hfl_type 否 String fl作业类型枚举。TRAIN(训练),EVALUATE(评估)。 hfl_platform_type 否 String 联邦学习运行平台枚举值。LOCAL(本地),MODEL_ARTS(modelarts)
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
保存纵向联邦作业 保存横向联邦学习作业 查询联邦学习作业列表 查询特征选择执行结果 删除联邦学习作业 执行横向联邦学习作业 执行纵向联邦模型训练作业 父主题: 计算节点API
现多方数据的融合分析,参与方敏感数据能够在聚合计算节点中实现安全计算。 多方联邦训练 对接主流深度学习框架实现横向和纵向联邦建模,支持基于SMPC(如不经意传输、同态加密等)的多方样本对齐和训练模型保护。 云端容器化部署 参与方数据源计算节点云原生容器部署,聚合计算节点动态扩容,支持云、边缘、HCSO多种部署模式。
至此,企业A完成了整个TICS联邦建模的流程,并将模型应用到了营销业务当中。这个预测作业可以作为后续持续预测的依据,企业A可以定期地使用模型预测自己的新业务数据。同时企业A也可以根据新积累的数据训练出新的模型,进一步优化模型预测的精确率,再创建新的联邦预测作业,产出更精准的预测结果供业务使用。
数据选择,SAMPLE_ALIGNMENT.样本对齐,FEATURE_SELECTION.特征选择,MODEL_TRAIN.模型训练,MODEL_EVALUATION.模型评估,MODEL_PREDICT.预测 learning_rate String 纵向联邦算法学习率,最大长度16