检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输入算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题: 算子帮助
算子管理 表1 算子管理权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 查询算子列表 GET /v1.0/{project_id}/data/processors octopus:dataProcessors
算子输出:算子执行完成后,如果需要渲染执行结果,可以调用“naie.common.display”中的“display”方法,具体请参考使用display方法渲染算子输出内容。 父主题: 开发学件
父主题: 算子管理
Loader算子数据处理规则 在Loader导入或导出数据的任务中,每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则;在算子中无法正确处理的数据,将成为脏数据,无法导入或导出。 在转换步骤中,算子数据处理规则请参见下表。
算子管理 算子市场介绍 发布算子 官方算子一览
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
输出算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题: 算子帮助
算子管理 查询算子列表 创建算子 查询算子详情 更新算子 删除算子 父主题: API
算子帮助 概述 输入算子 转换算子 输出算子 关联、编辑、导入、导出算子的字段配置信息 配置项中使用宏定义 算子数据处理规则 父主题: 使用Loader
算子示例 数据脱敏作业 父主题: 数据脱敏
停止算子作业 功能介绍 该接口用于停止正在计算中的作业。 URI DELETE /v1/{project_id}/terminate-job/{job_id} 参数说明请参见表1。
源文件如下: 创建ClickHouse表的语句如下: CREATE TABLE IF NOT EXISTS testck4 ON CLUSTER default_cluster( a Int32, b VARCHAR(100) NOT NULL, c char(100), d DateTime
算子配置 基础配置项 算子名称: 配置项英文名:name 说明: 算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
删除属性 算子简介 名称:删除属性 功能说明:从数据中删除指定的属性。 约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。
创建算子组 提取算子前,需要创建算子组。算子通过“<算子组ID.算子ID>”来确定全局唯一性。因为学件算子与内置算子功能相近,为避免算子ID冲突,建议为每个学件创建单独的算子组。 支持在任意Cell中,右键单击,从下拉框中选择“创建算子组”。
输出类算子 数据存储输出 DIS输出 实时分析输出 父主题: 算子使用指南
数据扁平 算子简介 名称:数据扁平 功能说明:数据扁平算子,把数据流中的嵌套Json字段转换为多个独立字段。 约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。
数据聚合 算子简介 名称: 数据聚合 功能说明: 数据聚合算子,将数据按窗口周期进行汇聚计算,以达到规约数据的目的。 约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明: 算子名称,对算子进行个性化的命名,以辅助增加可读性。
选择属性 算子简介 名称:选择属性 功能说明:在输入数据中选择保留的属性,未选择的属性被删除。 约束:下游不允许对接数据源及产品过滤算子。 算子配置 基础配置项 算子名称: 配置项英文名:name 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。