检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用数方可以在数据目录选取需要的数据集,创建数据申请并描述需求,发送至供数方审视需求。 支持的数据源类型:CSV或者二进制的本地文件、MySQL、Hive,其中MySQL和Hive的数据集配置可参照管理数据章节。 前提条件 空间组建完成,参考组建空间。 空间成员完成计算节点部署,配置参数时选
测试连接器(RDS) post https://x.x.x.x:12345/v1/agents/connectors data_connector: {"connector_type":"RDS_MYSQL","name":"rds2","ext_info":"{"rds":"ea
建对应类型的连接器,并通过这些连接器访问到各类型资源的结构化信息。当前支持MRS服务(Hive)、本地数据集、RDS数据集、DWS数据集、Oracle数据集、Mysql数据集,后续会支持更多华为云服务及原生服务的资源访问功能。连接信息中的敏感部分不会离开参与方侧。 数据管理包含创
123456 MySQL数据库 IP地址 本地的MySQL数据库的IP地址,且该地址允许可信节点所在虚机通过此IP访问。 1xx.1.1.1 端口 MySQL数据库的端口。 3306 驱动文件 对应数据库版本的驱动文件。 mysql-driver.jar 用户名 访问MySQL数据库的
数据准备 数据准备 以下数据和表结构是根据场景进行模拟的数据,并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中,TICS本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全。 政府信息提供方的数据tax和su
发起方执行恶意脚本,试图篡改所获取的路径中的作业训练结果。 图2 执行恶意脚本 发起方执行恶意脚本后,由于安全沙箱确保每个横向联邦作业都是隔离的,当某个作业想去访问或篡改其他作业相关的文件时,无法找到作业执行结果文件,因此脚本执行失败、无法篡改,从而实现安全防护。 图3 恶意脚本执行结果
添加入方向规则 (可选)准备RDS(MySQL)数据源 如果您的数据需通过RDS(MySQL)发布到TICS,则您需要提前准备RDS(MySQL)数据源。 JDBC数据源支持原生MySQL及RDS(MySQL)的连接。这里介绍RDS(MySQL)准备数据的步骤: 购买RDS服务,操作步骤参考
台手动导入模型文件,而是直接将模型文件上传到数据目录进行管理。 使用文件管理功能后,创建联邦学习作业时用户可以便捷地选择自己以前上传的执行脚本、训练模型、数据文件、权重参数文件,极大地提高了系统的易用性及可维护性。 创建文件 用户登录TICS控制台。 进入TICS控制台后,单击页
新建连接器(RDS) post https://x.x.x.x:12345/v1/agents/connectors data_connector: {"connector_type":"RDS_MYSQL","name":"rds2","ext_info":"{"rds":"ea
用户认证文件中获取。 “连接器类型”选择RDS服务时,所选择的RDS服务实例需与计算节点在同一VPC下,且端口开放。填写的用户名,需具有数据库的读写权限(参考修改权限)。“密码”为该用户登录RDS实例的密码。 “连接器类型”选择MySql时,需保证计算节点与数据库所在虚机的连通性
用户认证文件中获取。 “连接器类型”选择RDS服务时,所选择的RDS服务实例需与计算节点在同一VPC下,且端口开放。填写的用户名,需具有数据库的读写权限(参考修改权限)。“密码”为该用户登录RDS实例的密码。 “连接器类型”选择MySql时,需保证计算节点与数据库所在虚机的连通性
用户认证文件中获取。 “连接器类型”选择RDS服务时,所选择的RDS服务实例需与计算节点在同一VPC下,且端口开放。填写的用户名,需具有数据库的读写权限(参考修改权限)。“密码”为该用户登录RDS实例的密码。 “连接器类型”选择MySql时,需保证计算节点与数据库所在虚机的连通性
创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。 执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序,用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。
支持对接主流数据源(如MRS、 DLI、 RDS、 Oracle等)的联合数据分析; 支持对接多种深度学习框架(TICS,TensorFlow)的联邦计算; 支持控制流和数据流的分离,用户无需关心计算任务拆解和组合过程,采用有向无环图DAG实现多个参与方数据流的自动化编排和融合计算。 自主高效
0为该线性模型的系数加上偏置项。 图2 查看模型结果文件 本地利用测试集评估模型。可以采用如下脚本,会打印出模型在测试集上的准确率和AUC两个指标。 图3 本地评估模型的Python脚本 父主题: 测试步骤
计算。 图1 企业信用评估应用场景示意图 数据准备 以下数据和表结构是根据场景进行模拟的数据,并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中,TICS本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全。
需要客户运维侧保障)。 参照如何在两个节点间免密ssh登录完成节点免密设置。 在节点A任意目录下创建该脚本sync_tics.sh,建议放在 /opt/tics目录下,确保脚本文件具备可执行权限。 #!/bin/bash if [[ -n $(docker ps | grep k8s_db)
需要客户运维侧保障)。 参照如何在两个节点间免密ssh登录完成节点免密设置。 在节点A任意目录下创建该脚本sync_tics.sh,建议放在 /opt/tics目录下,确保脚本文件具备可执行权限。 #!/bin/bash if [[ -n $(docker ps | grep k8s_db)
模型文件,通过该功能即可将模型文件上传到数据目录,并支持批量删除。在创建联邦学习作业时可以选到上传的脚本模型等文件,提高了易用性及可维护性。 使用场景:管理联邦学习作业所需的脚本、模型、权重文件。 父主题: 可信联邦学习作业
否 String 连接器类型,主要分为多方安全计算连接器和可信联邦学习连接器。 多方安全计算连接器 MRS, RDS_MYSQL, DWS, JDBC, MYSQL, ORACLE, 可信联邦学习连接器 LOCAL 请求参数 表2 请求Header参数 参数 是否必选 参数类型