检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置输出算子，输出到HDFS/OBS，结果如下： 父主题： Loader输入类算子
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“随机值转换”算子，生成C、D、E三个字段： 转换后，按顺序输入这五个字段： 可以发现，每次生成的随机值都不一样。 父主题： Loader转换类算子
图片类清洗算子能力清单 数据清洗算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台提供了图文类、图片类清洗算子，算子能力清单见表1。
样例 源文件如下图： 配置“固定宽度文件输入”算子，生成三个字段A、B和C。 将三个字段依次输出，结果如下： 父主题： Loader输入类算子
转换类算子
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“更新域”算子，当发现值为test时，更新值，在test后面加上good。 转换后，输出A和B，结果如下： 父主题： Loader转换类算子
样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“过滤行转换”算子，过滤掉含有test的行。 转换后，输入原字段，结果如下： 父主题： Loader转换类算子
配置“表输出”算子，将A、B和C输出到test_1表中： 输出结果如下： 父主题： Loader输出类算子
atadgiB 父主题： Loader转换类算子
表1 视频类清洗算子能力清单 算子分类 算子名称 算子描述 数据提取 镜头拆分 根据视频中的镜头场景变化将长视频拆分为短视频片段，如果某个镜头片段的长度超过设定的时间阈值，该镜头片段将按时长进行进一步拆分。
Loader输出类算子
样例 通过“CSV文件输入”算子，生成两个字段a_str和b_str。 源文件如下： 配置“Hive输出”算子，将a_str和b_str输出到Hive的表中。 执行成功后，查看表数据： 父主题： Loader输出类算子
插件性能优化，降低资源消耗 1.2.11 v1.15 v1.17 v1.19 v1.21 从K8s Metrics API查询资源指标 计算资源利用率时考虑未就绪的Pod 1.2.10 v1.15 v1.17 v1.19 v1.21 适配CCE v1.21集群 1.2.4 v1.15
bigdata 父主题： Loader转换类算子
Partition Iterator算子消除 场景描述 在当前分区表架构中，执行器通过Partition Iterator算子去迭代访问每一个分区。
Tensorflow算子边界 “.om”模型支持的Tensorflow算子边界如表1所示。
FlinkSQL支持MultiJoin算子使用限制 MultiJoin算子只支持FULL OUTER JOIN和INNER JOIN语法。 MultiJoin算子只支持等值关联。如果有非等值过滤条件，可以使用view提前过滤。
Partition Iterator算子消除 场景描述 在当前分区表架构中，执行器通过Partition Iterator算子去迭代访问每一个分区。
配置入口API算子 入口API算子是API工作流的入口，工作流发布后可通过调用入口API来调用API工作流。在入口API算子内需定义API工作流的名称、URL、参数协议、请求方式、审核人、安全认证以及请求参数。
Caffe算子边界 对于Caffe框架，当算子的输入维度不是4时，如果存在axis参数，不能使用负数。 “.om”模型支持的Caffe算子边界如表1所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
