检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据预处理作业 数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。
作业变量命名长度限制0-20个字符,可支持40个变量 编写SQL语句时,您可以参考编辑器右侧的“系统函数”,在SQL语句中输入并使用系统函数。 表1 系统函数介绍 系统函数类型 函数 命令格式 命令说明 参数说明 返回值说明 数学函数 ABS abs(number) 计算number的绝对值。 number
横向联邦学习场景 TICS从UCI网站上获取了乳腺癌数据集Breast,进行横向联邦学习实验场景的功能介绍。 乳腺癌数据集:基于医学图像中提取的若干特征,判断癌症是良性还是恶性,数据来源于公开数据Breast Cancer Wisconsin (Diagnostic)。 场景描述
如何修改结果文件的权限? 部署方式 OBS存储 使用“云租户部署”的“OBS存储”存储方式部署的可信计算节点生成的结果文件均存储在obs云服务中,可以通过obs服务下载,文件的权限策略根据用户在obs服务上的配置决定。 极速文件存储卷或边缘节点部署 而以“云租户部署”的“极速文件
获取实例执行图 功能介绍 获取实例执行图 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/job-instances/{instance_id}/dag 表1 路径参数 参数 是否必选 参数类型 描述 project_id
senet层压缩比例,最小值2 save_format 否 String 模型保存格式 loss_function 否 String 损失函数 loss_param 否 String 损失函数参数json字符串 图9 常规参数配置(XGBoost) 图10 常规参数配置(逻辑回归/FiBiNET) 图11
管理密钥 密钥用于对加密的数据文件进行AES加解密。在多方安全计算作业场景,当SQL语句使用系统函数进行AES加解密时需要使用密钥。 约束限制 上传密钥文件需要以.key为后缀结尾。 上传密钥文件大小不超过256B。 上传密钥文本为base64编码之后的密钥,长度小于1000。 上传密钥
senet层压缩比例,最小值2 save_format 否 String 模型保存格式 loss_function 否 String 损失函数 loss_param 否 String 损失函数参数json字符串 响应参数 状态码: 200 表7 响应Body参数 参数 参数类型 描述 job_instance_id
包括缺失值数量、最大值、最小值以及分布图。 图4 描述性统计 执行预处理。单击列表字段后的添加预处理方法,系统将利用所选的预处理方法(转换函数)将特征数据转换成更加适合算法模型的特征数据。当前TICS支持的特征预处理方法如表1所示。对于一个字段,可以添加多种预处理方法,并且建议按照如下处理顺序进行编排:
0”。 勾选需要背书的组织及Peer节点。 发起方按照链代码管理章节中“实例化链代码”部分的描述,完成实例化链代码操作。 注意事项: “初始化函数”参数值须为“init”。 “背书策略”勾选“任意组织背书” 完成上述步骤后用户可前往区块浏览器查看上链的初始化日志信息。 父主题: 准备工作
参考:获取认证信息 在使用TICS时,您可能需要获取访问密钥、项目ID等信息,获取方式如下: 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥
参考:获取认证信息 在使用TICS时,您可能需要获取访问密钥、项目ID等信息,获取方式如下: 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥
senet层压缩比例,最小值2 save_format 否 String 模型保存格式 loss_function 否 String 损失函数 loss_param 否 String 损失函数参数json字符串 启动作业后会生成一条新的历史作业记录。 等待执行完成,在“历史作业”页面查看更详细的作业运行信息,包括执行结果、作业报告。
senet层压缩比例,最小值2 save_format 否 String 模型保存格式 loss_function 否 String 损失函数 loss_param 否 String 损失函数参数json字符串 响应参数 状态码: 200 表6 响应Body参数 参数 参数类型 描述 job_instance_id
布数据资源的功能。参与方进入数据管理>数据创建页面,选择对应连接器(连接器管理中已建立完备),将需要共享的数据发布至空间侧,并支持通过转换函数将特征数据转换成更加适合算法模型的特征数据。 使用场景 连接器使用场景:参与方的数据信息分布在不同的资源服务上,即可通过连接器管理功能来快速连接到名下的各类资源服务。
场景描述 背景信息 本案例以“预测乳腺癌是良性/恶性”的场景为例。假设一部分的乳腺癌患者数据存储在xx医院,另一部分数据存储在某个其他机构,不同机构数据所包含的特征相同。 这种情况下,xx医院想申请使用其他机构的乳腺癌患者数据进行乳腺癌预测模型建模会非常困难。因此可以通过华为TI
审批模式作业 TICS基于安全隐私策略的数据安全防护会自动拒绝不合法的SQL语句执行,但当安全规则限制过强的时候,可能会影响正常业务的执行。 对此TICS 提供作业审批功能。配置生效后,所有的计算任务执行时,均会生成审批报告,提交到数据提供方侧,由提供方确认关联数据集的用途和风险
save_train_result(jobParam, model, result) # 读取CSV数据集,并拆分为训练集和测试集 # 该函数的传入参数为CSV_FILE_PATH: csv文件路径 def load_data(CSV_FILE_PATH): import