检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为HiLens支持自行开发算子吗? 可以根据海思相应的技术文档自行开发算子,但是过程较为复杂,华为HiLens不提供开发算子相关的技术支撑,建议开发者使用已支持的算子进行技能开发。 父主题: 算法类问题
AI CPU算子替换样例 部分算子因为数据输入类型问题或者算子实现问题,导致会在昇腾芯片的AI CPU上执行,没有充分利用AI CORE的资源,从而导致计算性能较差,影响训练速度。部分场景下,可以通过修改Python代码来减少这类AI CPU算子,从而提升训练性能。
=default 以提交Spark-Pi的作业到CCE为例: spark-submit \ --master k8s://https://**.**.**.**:5443 \ --deploy-mode cluster \ --name spark-pi \ --class
功能介绍 什么是算子下推(NDP) NDP(Near Data Processing)是云数据库TaurusDB发布的旨在提高数据查询效率的计算下推的解决方案。
登录华为云云容器引擎CCE 控制台 单击购买Kubernetes集群->购买CCE集群 图1 购买CCE集群1 图2 购买CCE集群2 服务选型 计费模式:按需计费 集群名称:自定义,如“xxxx-cce” 版本: v1.17.17 集群管理规模: 80节点 控制节点数:1 网络模型
算子推荐列表配置 算子的推荐列表目前通过配置文件写死,后续支持智能推荐系统。 配置文件配置一个推荐树,以“key/value”的形式存储。“key”表示算子类型,“value”表示该算子的推荐操作ID列表。
算子简介 Loader算子包括以下类型: 输入算子 数据转换的第一步,负责将数据转换成字段,每次转换有且只能有一种输入算子,涉及HBase或Hive导入导出时,必须填写。 转换算子 数据转换的中间转换步骤,属于可选类型,各个转换算子可任意搭配使用。
配置输出处理算子 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换,以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码,支持映射为自定义信息。 例如,将“DLM.0”错误码映射为“OK”。
抽帧截图算子 使用抽帧截图算子快速构建视频抽帧截图应用。 1 由媒体处理服务MPC进行收费,详情查看计费说明。 父主题: 抽帧截图(官方算子)
-output --test.bag --SUCCESS 其中,“SUCCESS”文件为标识文件,标识所在阶段的任务结束。
当发生中间数据落盘时,称之为算子下盘。算子落盘空间太大除了会对查询性能有较大影响,还有可能导致数据库只读甚至磁盘满,因此GaussDB(DWS)提供了用户算子空间限制,可以限制用户算子落盘的大小,在超限时查询报错退出。
通过session设置 通过hint方式设置 其他explain格式 父主题: 算子下推(NDP)
操作流程 您首先需要在FunctionGraph导入自定义算子需要的函数依赖包。然后需要在FunctionGraph创建自定义抽帧截图函数。之后需要在DWR工作流编排界面完成配置动态参数,创建同步工作流。最后触发工作流进行验证。 图1 操作流程 父主题: 抽帧截图(自定义算子)
取值范围:off/on 默认取值:off 父主题: 算子下推(NDP)
数据集加工算子介绍 文本类加工算子能力清单 视频类加工算子能力清单 图片类加工算子能力清单 气象类加工算子能力清单 父主题: 加工数据集
操作步骤 为CCE集群安装sermant-injector,请参考CCE部署场景接入指南。 为工作负载(deployment)中的微服务配置版本号或标签。 在下图所示位置为工作负载(deployment)配置环境变量,配置环境变量后,应用注册时,会使用该环境变量进行注册。
基于该插件,支持用户在短时高负载场景下,将部署在云容器引擎CCE上的无状态负载(Deployment)、有状态负载(StatefulSet)、普通任务(Job)、定时任务(CronJob)四种资源类型的容器实例(Pod),弹性创建到云容器实例CCI服务上,以减少集群扩容带来的消耗。
FunctionGraph函数 算子使用FunctionGraph函数工作流。 1 通过算子对数据进行处理,可能会使用到函数工作流的资源,比如算子执行时长,函数工作流会根据资源使用情况进行收费,收费详情参见函数工作流计费说明。 父主题: 抽帧截图(自定义算子)
云容器引擎(CCE)支持的自定义策略授权项如下所示: 表2 Cluster 权限 对应API接口 授权项(Action) IAM项目(Project) 企业项目 (Enterprise Project) 获取指定项目下的集群 GET /api/v3/projects/{project_id
使用限制 支持容器引擎为Docker的CCE集群节点。详情请查看云容器引擎(CCE)。 支持使用Containerd作为容器引擎的CCE集群节点(ICAgent 5.12.130及以上版本)。 支持CCE Turbo集群(ICAgent 5.12.130及以上版本)。