开发算子代码 DWR算子开发运行依赖于FunctionGraph平台,本节将使用python开发一个下载OBS对象的算子,python使用详情参见Python函数开发指南。通过对该示例算子开发方式的说明,能够帮助算子开发者快速适应开发流程。
输入算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题: 算子帮助
算子输出:算子执行完成后,如果需要渲染执行结果,可以调用“naie.common.display”中的“display”方法,具体请参考使用display方法渲染算子输出内容。 父主题: 开发学件
算子管理 查询算子列表 创建算子 查询算子详情 更新算子 删除算子 父主题: API
算子管理 表1 算子管理权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 查询算子列表 GET /v1.0/{project_id}/data/processors octopus:dataProcessors
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
算子详解 关键字概述 表访问方式 表连接方式 运算符 分区剪枝相关信息 其他关键字 父主题: SQL执行计划介绍
算子详解 关键字概述 表访问方式 表连接方式 运算符 分布式运算符 分区剪枝相关信息 其他关键字 父主题: SQL执行计划介绍
Loader算子数据处理规则 在Loader导入或导出数据的任务中,每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则;在算子中无法正确处理的数据,将成为脏数据,无法导入或导出。 在转换步骤中,算子数据处理规则请参见下表。
官方算子一览 本小节介绍华为云自有服务提供的各类算子的参数配置说明。 不同区域支持的算子可能不同,请以控制台实际为准。
输出算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题: 算子帮助
算子帮助 概述 输入算子 转换算子 输出算子 关联、编辑、导入、导出算子的字段配置信息 配置项中使用宏定义 算子数据处理规则 父主题: 使用Loader
算子示例 数据脱敏作业 父主题: 数据脱敏
停止算子作业 功能介绍 该接口用于停止正在计算中的作业。 URI DELETE /v1/{project_id}/terminate-job/{job_id} 参数说明请参见表1。
算子详解 关键字概述 表访问方式 表连接方式 运算符 分区剪枝相关信息 其他关键字 父主题: SQL执行计划介绍
创建算子组 提取算子前,需要创建算子组。算子通过“<算子组ID.算子ID>”来确定全局唯一性。因为学件算子与内置算子功能相近,为避免算子ID冲突,建议为每个学件创建单独的算子组。 支持在任意Cell中,右键单击,从下拉框中选择“创建算子组”。
父主题: 算子管理
输入类算子 IoT设备接入数据源 DIS数据源 API数据源 父主题: 算子使用指南
算子配置API 算子配置API 算子配置API接口说明,如表1所示。 表1 算子配置API介绍 参数 说明 id 标识算子,全局唯一。 disabled 标识算子在菜单中是否可用。 配置为“true”,则当前算子置灰展示,不可用。
父主题: 算子管理
您即将访问非华为云网站,请注意账号财产安全