检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
job_instance_id 否 String 模型ID,最大32位,由字母和数字组成 train_label_agent 否 String 标签方可信计算节点,最大32位,由字母和数字组成 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 job_id String
可信联邦学习作业是可信智能计算服务提供的在保障用户数据安全的前提下,利用多方数据实现的联合建模。 安全可信。 多种训练场景。 方便与已有服务对接。 使用场景 横向联邦机器学习 横向联邦机器学习,适用于参与者的数据特征重叠较多,而样本ID重叠较少的情况,联合多个参与者的具有相同特征的多行样本进行可信联邦学习,联合建模。
特征,会提示“选择两个数据集,一个有标签,一个无标签,且至少选择一个无标签方特征,才可启动训练。” 图7 特征选择 图8 查看特征分箱woe值 在页面右下角单击“启动训练”进行模型训练。 在弹出的界面配置执行参数,配置执行参数可选择常规配置与自定义配置。 常规配置:通过界面点选算
筛选特征 样本对齐执行完成后单击下一步进入“特征选择”页面,这一步企业A需要选出企业A自己和大数据厂商B的特征及标签用于后续的训练。 企业A可以选择特征及标签后“启动分箱和IV计算”,通过联邦的统计算法计算出所选特征的iv值,一般而言iv值较高的特征更有区分性,应该作为首选的训练
步骤4中勾选的模型不包含标签方特征,联邦预测支持只勾选己方数据集发起单方预测。 图1 发起预测 图2 勾选数据集 在“联邦预测”页面批量预测Tab页单击“历史预测”,可以“查看结果”和“作业报告”。 “查看结果”为预测结果存储相对路径。分类作业的预测结果为0/1标签以及正负样本概率,0
VFL_SAMPLE_ALIGNMENT, VFL_PREDICT, PIR_SQL; label_dataset 是 String 标签数据集,最大值100 label_agent 是 String 标签方可信计算节点,最大值100 job_name 是 String 作业名称。名称不能以空白字符开头结尾、或者包含下列任何字符:\
objects 所选数据集特征 label_dataset 否 String 标签数据集,最大长度100 label 否 String 标签列名,最大长度1000 label_agent 否 String 标签方代理id,最大32位,由字母和数字组成 job_name 否 String
传统金融企业联合营销模式中,金融企业往往需要将双方的数据集中到一个安全实验室中进行标签融合,模型训练,但常面临数据泄露和隐私等挑战。联邦建模采用分布式架构进行部署和建模,参与联合营销的企业原始和明细数据不出库的前提下进行跨域数据建模,实现精准营销,同时保障企业数据安全与个人隐私。 优势: 原始数据不出企业安全域、不
创建数据预处理作业 数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。
learning_rate String 纵向联邦算法学习率,最大长度16 label_dataset String 标签数据集,最大长度100 label_agent String 标签方可信计算节点,最大长度100 batch_size Integer lr批大小,最小值1 grad_epsilon
learning_rate 否 String 纵向联邦算法学习率,最大长度16 label_dataset 否 String 标签数据集,最大长度100 label_agent 否 String 标签方可信计算节点,最大长度100 batch_size 否 Integer lr批大小,最小值1 grad_epsilon
服务或者登录到计算节点后台获取到对应路径的文件。 当只有一方提供特征时,预测的结果如下,第一列是用户的id,第二列是用户是否是高价值用户的标签,第三列、第四列是对应的概率: id,label,proba_0,proba_1 4e07408562bedb8b60ce05c1decf
(2)字段配置中特征字段(x_{特征序号})均配置为字段类型:FLOAT,字段类别:特征,特征类型:连续;标签字段(label)配置为字段类型:INTEGER,字段类别:标签。 图3 配置数据集参数 发布数据集。 图4 发布数据集 数据集发布的过程并不会直接从数据源中导出用户数据
列表。同时,有敏感信息的数据,还可以单独设置隐私策略,并在发布到空间侧后对其他参与方生效,限制敏感信息的使用。 数据预处理使用场景:训练机器学习模型前,可通过转换函数将特征数据转换成更加适合算法模型的特征数据。 父主题: 管理数据
-1.103220799,2.375621631 注意由于这是新产生的业务数据,企业A并不知道这些用户是否是高价值用户,因此没有label用户标签字段。 表2 大数据厂商B的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 f0-f4 float 大数据厂商数据特征
数据集id data_type String 字段类型 fl_label_type String 学习数据集标签类型。UNIQUE_ID唯一标识,FEATURE特征,LABEL标签,FILTER过滤字段 is_discrete Boolean 是否离散 length Integer 长度
String 数据集名 label_dataset 否 String 标签数据集,最大长度100 label_agent 否 String 标签方可信计算节点,最大长度100 label_agent_name 否 String 标签方可信计算节点名称,最大长度128 host_agent_id
UNIQUE_ID--唯一标识 2.SENSITIVE--敏感 3.NON_SENSITIVE--非敏感 fl_label_type String 联邦学习字段标签分类 privacy_policy String 字段数据处理隐私策略。 1.MASK--掩码 2.NONE--不处理 privacy_policy_ext
联机分析处理的字段类型:UNIQUE_ID,SENSITIVE,NON_SENSITIVE fl_label_type String 字段标签分类:UNIQUE_ID.唯一标识,FEATURE.特征,LABEL.标签,FILTER.过滤字段 请求示例 获取字段隐私详情 get https://x.x.x.x:1234
购买MRS服务,操作步骤参考创建集群章节,且MRS服务的VPC必须与计算节点部署节点处于同一个VPC内。 注意事项: “区域”必须与CCE集群在同一个VPC下。 图1 区域配置 “Kerberos”认证无论是否勾选,当前的MRS Hive连接器都支持。 “虚拟私有云”与后续要建立的CCE集群必须在同一个VPC下。