检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
特征;过低的iv值没有区分性会造成训练资源的浪费,过高的iv值又过于突出可能会过度影响训练出来的模型。 例如这里大数据厂商提供的f4特征iv值是0,说明这个特征对于标签的识别没有区分度,可以不选用;而f0、f2特征的iv值中等,适合作为模型的训练特征。 根据计算得出的iv值,企业
企业A和大数据厂商B需要按照训练模型使用的特征,提供用于预测的数据集,要求预测的数据集特征必须包含训练时使用的特征。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float 企业A数据特征 industry_predict
通过调用接口获取用户Token接口获取。 X-Language 是 String 根据自己偏好的语言来获取不同语言的返回内容,zh-cn或者en_us Content-Type 是 String 发送的实体的MIME类型 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述
执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序,用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。在作业的数据集配置中,选择己方、对方的本地数据集,此外需将已方的数据集设
数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。 假设您有如下数据集(
可信联邦学习作业是可信智能计算服务提供的在保障用户数据安全的前提下,利用多方数据实现的联合建模。 安全可信。 多种训练场景。 方便与已有服务对接。 使用场景 横向联邦机器学习 横向联邦机器学习,适用于参与者的数据特征重叠较多,而样本ID重叠较少的情况,联合多个参与者的具有相同特征的多行样本进行可信联邦学习,联合建模。
模型训练 企业A在完成特征选择后,可以单击右下角的“启动训练”按钮,配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
乳腺癌数据集从UCI获取,该数据集只包含连续类型特征,因此对所有特征使用Scikit-Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此
阶段五:基于MPC算法的高安全级别计算 完成demo验证阶段,为提升数据保护级别,接入以纯密文的状态做计算的更高安全级别的数据,可以通过开启高隐私级别开关,提升空间安全级别。 图1 高隐私级别开关 再次单击作业,审批进行的同时敏感数据被进行了秘密分享加密。DAG图显示了“psi +
纵向联邦机器学习,适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况,联合多个参与者的共同样本的不同数据特征进行联邦机器学习,联合建模。 公测 创建纵向联邦学习作业 2 联盟和计算节点支持自助升级 在实际应用中,升级、回滚是一个常见的场景,TICS能够很方便的支撑联盟和计算节点升级和回滚。回滚也
横向联邦学习场景 TICS从UCI网站上获取了乳腺癌数据集Breast,进行横向联邦学习实验场景的功能介绍。 乳腺癌数据集:基于医学图像中提取的若干特征,判断癌症是良性还是恶性,数据来源于公开数据Breast Cancer Wisconsin (Diagnostic)。 场景描述
单击数据集按钮切换数据集,勾选特征作为模型训练的指定特征,选择分箱方式后单击“启动分箱和IV计算”,计算得到所选特征对标签的影响程度。计算完成后,单击特征行的可以展开图表形式的分箱woe值。 “FiBiNET”算法新增限制: 特征方必须要有两个及以上离散特征,连续特征可有可无。 标签方可以不提供任何
对应索引的元素为1,其余为0 特征放缩 连续型 适合连续特征。将特征的取值范围缩放到[min,max]的范围,推荐min=0,max=1 标准化 连续型 将特征的取值标准化为均值=0,标准差=1的高斯分布 异常值处理 连续型 对特征数据进行异常值定义和处理。对连续特征的数值范围定
可以看出企业A提供的预测数据集中有部分用户被模型预测成了高价值的客户,后续企业A可以对这一部分用户进行定向精准营销,缩小营销广告的投放范围,减少了营销的成本。 当两方都提供特征时,预测结果分为对齐id文件(只有一列id)和预测结果文件(包括预测结果标签、0的概率、1的概率),两个文件的行数相等且每一行相互对应。
联合多方正样本的效果,丰富模型的特征,提高模型的泛化能力。 计算全程保障企业数据安全与个人隐私。 图2 金融联合营销 使能数据交易 传统数据交易方式,交易的是数据所有权,交易完成后,数据被无限制的复制。采用可信交易方式,交易的不是数据,而是数据的使用权,卖家卖的是对某个数据的用法用量,不用担心数据被复制。
本案例以“预测乳腺癌是良性/恶性”的场景为例。假设一部分的乳腺癌患者数据存储在xx医院,另一部分数据存储在某个其他机构,不同机构数据所包含的特征相同。 这种情况下,xx医院想申请使用其他机构的乳腺癌患者数据进行乳腺癌预测模型建模会非常困难。因此可以通过华为TICS可信智能计算平台的横向联邦功能,实
以“查看结果”和“作业报告”。 “查看结果”为预测结果存储相对路径。分类作业的预测结果为0/1标签以及正负样本概率,0表示负样本,1表示正样本;回归作业的预测结果为最后的样本得分。 “作业报告”为作业的详细信息,如作业输入条件、作业输出结果、执行环境、合作方信息、计算过程等。 图3
通过转换函数将特征数据转换成更加适合算法模型的特征数据。 使用场景 连接器使用场景:参与方的数据信息分布在不同的资源服务上,即可通过连接器管理功能来快速连接到名下的各类资源服务。 数据创建使用场景:参与方加入空间后,需要提供自己的数据集信息,用户即可通过数据创建功能,获取到名下详
保证目录下至少包含一个csv文件,且所有csv文件的特征数保持一致。此外,选择数据集的原始文件,需要指定csv文件的“分隔符”、“是否包含表头”。“是否包含表头”是指文件的第一行是否是每一个字段的名称。 数据结构:配置每个字段的类别标签,包括以下几种: “字段类型”:支持BOOL
Integer 离散特征embedding的维度,最小值4 multihot_embedding_size 否 Integer multihot特征embedding的维度,最小值4 mlp_dims 否 Array of integers 多层感知机每层的节点数 reduction_ratio