检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data_type 是 String 连接器数据类型 1.RDS--云数据库类型 2.MYSQL--MySQL类型 3.DWS--高斯数据库类型 4.MRS--MapReduce数据类型 5.ORACLE--ORACLE数据类型 6.LOCAL_CSV--本地数据类型 ag_dataset_table
准备数据 企业A和大数据厂商B需要按照训练模型使用的特征，提供用于预测的数据集，要求预测的数据集特征必须包含训练时使用的特征。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float 企业A数据特征 industry_predict
HIVE等，关系型数据库的数据集默认是“结构化”数据类型。“选择“数据库”以及“数据表”，再配置创建数据的参数，配置完成后单击“确定”。 结构化数据是指具有标准化行、列数据属性的数据，例如sql、csv数据等。 配置结构化数据集时，需要注意以下几点： 选择数据文件：仅本地连接器需要配置。
特征；过低的iv值没有区分性会造成训练资源的浪费，过高的iv值又过于突出可能会过度影响训练出来的模型。 例如这里大数据厂商提供的f4特征iv值是0，说明这个特征对于标签的识别没有区分度，可以不选用；而f0、f2特征的iv值中等，适合作为模型的训练特征。 根据计算得出的iv值，企业
向联邦学习得到的模型准确率。此外由于原始的数据集较小，采用了Imbalanced-Learn中的SMOTE算法，进行了数据集的扩充。下表为扩充过后的数据集统计信息。 乳腺癌数据集统计信息。 统计量 取值 特征数目 30 xx医院的训练样本数目 7366 其他机构的训练样本数目 7366
将需要共享的数据发布至空间侧，并支持通过转换函数将特征数据转换成更加适合算法模型的特征数据。 使用场景 连接器使用场景：参与方的数据信息分布在不同的资源服务上，即可通过连接器管理功能来快速连接到名下的各类资源服务。 数据创建使用场景：参与方加入空间后，需要提供自己的数据集信息，用
准备数据 首先，企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息，例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
准备数据 首先，企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息，双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集，之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串
data_type String 连接器数据类型 1.RDS--云数据库类型 2.MYSQL--MySQL类型 3.DWS--高斯数据库类型 4.MRS--MapReduce数据类型 5.ORACLE--ORACLE数据类型 6.LOCAL_CSV--本地数据类型 ag_dataset_table
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上，通过“数据管理”模块创建各自的数据集。 企业A的数据集如下： 大数据厂商B的数据集如下： 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧，供其他合作方参考。 父主题： 使用TICS多方安全计算进行联合样本分布统计
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上，通过“数据管理”模块创建各自的数据集。 企业A的数据集如下： 大数据厂商B的数据集如下： 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧，供其他合作方参考。 父主题： 使用TICS可信联邦学习进行联邦建模
MASK：表示该字段需要脱敏。 如果数据集文件不包含ID，该数据集将不能进行样本对齐，且特征选择、联邦训练、评估时会校验特征方、标签方的数据量是否相等，若不相等作业会报错。用户可以提供额外的数据ID文件用来说明数据每一行的ID。以上述特征数据集为例，有表头没有ID的数据集文件和数据ID文件格式如下：
发布数据集 企业A将自己的需要预测的csv数据文件上传到自己的计算节点上，通过“数据管理”模块创建用于预测的数据集。 企业A预测数据集如下： 大数据厂商B仍使用训练时的提供的全量数据作为预测数据集，没有发布新的数据集。 父主题： 使用TICS联邦预测进行新数据离线预测
数据准备 数据准备 以下数据和表结构是根据场景进行模拟的数据，并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中，TICS本身不会持有这些数据，这些数据会通过用户购买的计算节点进行加密计算，保障数据安全。 政府信息提供方的数据tax和su
准备数据 企业A的实时业务不需要准备数据，在发起查询时通过参数传递需要查询的用户id。 表1 企业B用户画像数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 f0-f4 float 用户数据画像特征 bigdata_all.csv id,f0,f1,f2
创建数据预处理作业 数据预处理是训练机器学习模型的一个重要前置步骤，其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换，以达到数据在训练模型中可使用、可实用，在TICS平台内完成数据处理到建模的闭环。
可信联邦学习作业是可信智能计算服务提供的在保障用户数据安全的前提下，利用多方数据实现的联合建模。 安全可信。 多种训练场景。 方便与已有服务对接。 使用场景 横向联邦机器学习 横向联邦机器学习，适用于参与者的数据特征重叠较多，而样本ID重叠较少的情况，联合多个参与者的具有相同特征的多行样本进行可信联邦学习，联合建模。
数据优化 根据统计结果，双方可能会发现存在以下两个问题： 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡，负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据，多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成，接下来就是使用准备好的数据进行联邦建模。
执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序，用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构，会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。在作业的数据集配置中，选择己方、对方的本地数据集，此外需将已方的数据集设
期线下处理数据。 评估/预测数据预处理 参考创建数据预处理作业，在“数据管理>数据预处理”界面创建用于处理评估/预测数据的数据预处理作业。注意，作业中所选的数据集应为评估/预测数据集，且字段定义、尤其是分布类型的定义与之前的训练数据集相同。 单击创建的数据预处理作业后的开发按钮，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
