检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
执行联邦学习作业时,报“ERROR UNAVAILABLE:Network closed for unknown reason”,如何解决? 问题描述 执行联邦作业时,出现“ERROR UNAVAILABLE:Network closed for unknown reason”报错信息。
计算节点以容器的形式部署,支持云容器引擎(CCE,Cloud Container Engine)服务和智能边缘平台(IEF,Intelligent EdgeFabric)服务部署,用户可根据数据上云的实际需求,采用合适的计算节点部署方案。 云容器引擎(CCE,Cloud Container Engine)提供高可靠高
计算节点以容器的形式部署,支持云容器引擎(CCE,Cloud Container Engine)服务和智能边缘平台(IEF,Intelligent EdgeFabric)服务部署,用户可根据数据上云的实际需求,采用合适的计算节点部署方案。 云容器引擎(CCE,Cloud Container Engine)提供高可靠高
创建联邦预测作业 企业A单击“联邦预测 > 批量预测 > 创建”按钮,进入联邦预测作业的创建页面。企业A需要通过“算法类型”、“训练作业”等筛选条件可以找到用于预测的模型,点选使用的模型后单击“确定”按钮即完成联邦预测作业的创建。 父主题: 使用TICS联邦预测进行新数据离线预测
数据商业空间中公司B针对公司A的某些数据资产存在业务需求,由于安全性和数据主权的考虑,公司A与公司B基于TICS完成数据资产的交换。基于TICS进行数据资产交换,保证公司A的数据主权、公司B的数据可获得,同时保证交换过程安全可信。 以下是数据拥有方公司A和数据需求方公司B基于TICS平台的操作。 父主题: 可信数据交换场景
申请使用数据 数据需求方公司B在自己的计算节点页面上可以查看数据目录,找到数据拥有方公司A创建并发布的数据。 图1 创建数据申请 对数据集单击“申请使用”,在弹窗中填写需要使用的字段和访问需求,保存后可以提交审批,由公司A审核。 访问需求包括: 访问截止时间:设置访问的时间限制,
< > |,长度要求在1~128之间 hfl_type String fl作业类型枚举。TRAIN, EVALUATE hfl_platform_type String 联邦学习运行平台枚举值。LOCAL,MODEL_ARTS host_agent_id String 发起方agent
信智能计算平台的横向联邦功能,实现在患者隐私不泄露的前提下,利用其他机构的医疗数据提升乳腺癌预测模型的准确率。 进一步地,可根据该模型案例发散,构建老年人健康预测、高血压预测、失能早期预警模型等。 图1 乳腺癌预测研究应用场景示意 作业发起方通过计算节点上传数据、待训练模型的定义文件;
企业A将自己的需要预测的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建用于预测的数据集。 企业A预测数据集如下: 大数据厂商B仍使用训练时的提供的全量数据作为预测数据集,没有发布新的数据集。 父主题: 使用TICS联邦预测进行新数据离线预测
模型评估 评估训练得出的模型权重在某一数据集上的预测输出效果。 纵向联邦机器学习 纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行联邦机器学习,联合建模。 已发布区域:北京四、北京二 如何创建横向训练型作业? 如何创建横向评估型作业?
作业描述,最大长度512 hfl_type 否 String fl作业类型枚举。TRAIN(训练),EVALUATE(评估)。 hfl_platform_type 否 String 联邦学习运行平台枚举值。LOCAL(本地),MODEL_ARTS(modelarts) agent_id
create_time String 创建时间。 hfl_type String fl作业类型枚举。1.TRAIN训练,2.EVALUATE评估 hfl_platform_type String 联邦学习运行平台枚举值。LOCAL,MODEL_ARTS learning_rate String 纵向联邦算法学习率
因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。 根据前一篇文章,企业A已经通过可信联邦学习功能训练出了一个预测客户时候是高价值用户的模型。 本文主
某企业A在进行新客户营销时的成本过高,想要通过引入外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。 本文主要
某企业A在进行新客户营销时的成本过高,想要通过引入外部数据的方式提高营销的效果,降低营销成本。 因此企业A希望与某大数据厂商B展开一项合作,基于双方共有的数据进行联邦建模,使用训练出的联邦模型对新数据进行联邦预测,筛选出高价值的潜在客户,再针对这些客户进行定向营销,达成提高营销效果、降低营销成本的业务诉求。 基于多方
导入模型文件,而是直接将模型文件上传到数据目录进行管理。 使用文件管理功能后,创建联邦学习作业时用户可以便捷地选择自己以前上传的执行脚本、训练模型、数据文件、权重参数文件,极大地提高了系统的易用性及可维护性。 创建文件 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧
验证安全沙箱防护能力 接下来模拟篡改文件的恶意行为,来验证安全沙箱防护能力。 发起方获取某个横向联邦训练作业的训练结果路径。 图1 获取作业结果路径 发起方执行恶意脚本,试图篡改所获取的路径中的作业训练结果。 图2 执行恶意脚本 发起方执行恶意脚本后,由于安全沙箱确保每个横向联邦作业都是隔离
0.037553105503320694 编写训练脚本(作业发起方) 作业发起方还需要编写联邦学习训练脚本,其中需要用户自行实现读取数据、训练模型、评估模型、获取评估指标的逻辑。计算节点会将数据集配置文件中的path属性作为参数传递给训练脚本。 JobParam属性如下: class
联合建模。 安全可信。 多种训练场景。 方便与已有服务对接。 使用场景 横向联邦机器学习 横向联邦机器学习,适用于参与者的数据特征重叠较多,而样本ID重叠较少的情况,联合多个参与者的具有相同特征的多行样本进行可信联邦学习,联合建模。 模型评估 评估训练得出的模型权重在某一数据集上的预测输出效果。