检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 参数说明 参数 说明 算子组ID 从下拉框中选择之前创建的算子组。 如果手工填入系统中不存在的算子组ID,则系统会自动创建此算子组。 算子ID 自定义输入,需要在算子组内,保持唯一。 算子名称(中文) 中文环境下,算子显示的标签名称。
父主题: 算子管理
官方算子一览 本小节介绍华为云自有服务提供的各类算子的参数配置说明。 不同区域支持的算子可能不同,请以控制台实际为准。
Loader算子数据处理规则 在Loader导入或导出数据的任务中,每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则;在算子中无法正确处理的数据,将成为脏数据,无法导入或导出。 在转换步骤中,算子数据处理规则请参见下表。
输出算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题: 算子帮助
算子管理 查询算子列表 创建算子 查询算子详情 更新算子 删除算子 父主题: API
算子帮助 概述 输入算子 转换算子 输出算子 关联、编辑、导入、导出算子的字段配置信息 配置项中使用宏定义 算子数据处理规则 父主题: 使用Loader
算子管理 新建算子 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 算子管理”页签,单击“新建算子”。 完成新建算子相关信息。 图1 新建算子 名称:算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
算子示例 数据脱敏作业 父主题: 数据脱敏
停止算子作业 功能介绍 该接口用于停止正在计算中的作业。 URI DELETE /v1/{project_id}/terminate-job/{job_id} 参数说明请参见表1。
算子管理 算子市场介绍 发布算子 官方算子一览
输入算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题: 算子帮助
算子输出:算子执行完成后,如果需要渲染执行结果,可以调用“naie.common.display”中的“display”方法,具体请参考使用display方法渲染算子输出内容。 父主题: 开发学件
算子管理 表1 算子管理权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 查询算子列表 GET /v1.0/{project_id}/data/processors octopus:dataProcessors
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
源文件如下: 创建ClickHouse表的语句如下: CREATE TABLE IF NOT EXISTS testck4 ON CLUSTER default_cluster( a Int32, b VARCHAR(100) NOT NULL, c char(100), d DateTime
算子配置 基础配置项 算子名称: 配置项英文名:name 说明: 算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
删除属性 算子简介 名称:删除属性 功能说明:从数据中删除指定的属性。 约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。
输出类算子 数据存储输出 DIS输出 实时分析输出 父主题: 算子使用指南
算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。