数据处理-华为云

自动驾驶云服务 OCTOPUS-作业队列:数据处理作业队列相关操作

数据处理作业队列相关操作在“作业队列”页签，还可以进行以下操作。表1 作业队列相关操作任务操作步骤置顶作业单击操作栏中的“置顶”，即可将作业调整至队列中最高优先级。置底作业单击操作栏中的“置底”，即可将作业调整至队列中最低优先级。上移作业单击操作栏中的“上移”，即可将作业调整至队列中上一级。下移作业单击操作栏中的“下移”，即可将作业调整至队列中下一级。更新作业优先级勾选单个或多个作业。单击“更新优先级”，输入[-50,50]的整数，数字越大，优先级越高。单击“确定”，优先级更改成功。相同优先级的任务，作业队列更新时间越早，优先级越高。搜索作业在搜索输入框中输入“作业ID”，按回车键即可查询。

自动驾驶云服务 OCTOPUS 数据处理

IOT边缘 IOTEDGE-代码解析

代码解析代码解释使用ModuleSDK开发应用集成ModuleSDK进行数据处理。 AppClient类有以下几个关键方法（具体参考JavaDoc）。 createFromEnv(): AppClient创建时由此方法自动获取环境变量。 setBusMessageCallback(): 设置总线消息回调，用于对设备上报的数据进行处理 sendBusMessage(): 向总线发送消息，用于将处理后的设备数据发送到总线 callDeviceCommand(): 调用设备命令 getDevicesInfo(): 查询设备状态 MonitorApp代码解析片段一 privatestaticfinalString INPUT = "input"; public static final String OUTPUT = "output"; 定义输入和输出的端点，关于取值需要需在创建应用版本的inputs参数中定义,创建应用时输入端点与输出端点以及数据流转规则的配置与此是对应的。例如此处定义了输入端点为“input”，输出端点为“output”，则创建应用时的端点和软件配置输入端点需要配置为input，输出端点需要配置为output。应用部署后还需要设置数据流转规则后，决定数据的流向。 /** * 电机设备的产品ID */ public static final String MOTOR_PRODUCT_ID = "60988d94aa3bcc02c0200667"; 单击设备的产品ID,需要在IoTDA设备接入创建产品时获取。片段二 private AppClient appClient; publicMonitorApp() throws GeneraException { appClient = AppClient.createFromEnv(); } 定义并创建AppClient， AppClient.createFromEnv()创建其配置参数将会自动从边缘节点环境中获取，数据的传输将会依赖AppClient。片段三 publicvoidstart() throws GeneraException { //设置回调，打开客户端 appClient.setBusMessageCallback(INPUT, this);//设置收到设备数据的回调 appClient.open(); } appClient在接收到数据后的处理动作需要用户定义，具体操作是设置回调。这里设置回调方法并传入输入端点后，appClient将会开启并启动一个监听器监听输入端点的数据传输，接收到设备经过hub发来的数据后会调用回调进行数据处理。片段四 public void onMessageReceived(BusMessage busMessage) { try { if (busMessage.getProductId().equals(MOTOR_PRODUCT_ID)) { //马达设备状态错误时对马达进行重启 MotorData motorData = JsonUtil.fromJson( JsonUtil.toJson(busMessage.getServices().get(0).getProperties()), MotorData.class); if (motorData.getStatus().equals("error")) { Command command = new Command(busMessage.getDeviceId(),"power", "power_control", "restart" ); appClient.callDeviceCommand(command, FIVE_SECOND); } } else { //其他设备数据发布到总线 appClient.sendBusMessage(OUTPUT, busMessage); } } catch (Exception e) { System.out.println(e.getMessage()); } } onMessageReceived(BusMessage busMessage)是前面设置回调具体的回调函数，它是BusMessageCallback接口的方法，MonitorApp要实现BusMessageCallback接口并实现此方法，AppClient通过设置的输入端口input监听到设备发送数据时调用此方法进行数据处理，用户关于设备发送的数据的处理逻辑在此方法内实现，处理后的数据通过设置的输出端口output发送经过hub发送到云端。 appClient.callDeviceCommand(command, FIVE_SECOND)是示例演示应用在接受到设备传来的error信号后，向设备发送秒后重启命令。父主题：集成ModuleSDK进行数据处理

IOT边缘 IOTEDGE 集成ModuleSDK进行数据处理

应用平台 APPSTAGE-数据清洗:FileBeat采集端数据清洗

FileBeat采集端数据清洗在做日志接入创建日志空间时可以配置算子清洗策略完成日志数据清洗，如图1所示，算子清洗功能及使用样例请参见算子清洗功能介绍。图1 算子清洗清洗规则：选择“算子清洗”。日志样例：使用典型日志，用来做清洗验证。解析脚本：配置解析脚本，将日志样例清洗为字段显示。解析脚本中不支持使用中划线，支持使用下划线。清洗字段：配置解析脚本后单击“配置解析脚本”，自动生成清洗自动，查看字段是否符合预期。

应用平台 APPSTAGE 数据处理

AI开发平台MODELARTS-加权采样:参数说明

参数说明参数是否必选参数说明默认值 weight_col 是权重列。 "weight" sample_size 否采样数量。 100 sample_ratio 否采样比例，范围(0,1)，如果sample_size和sample_ratio同时设置，以sample_size为准。 0.2 with_replacement 是是否有放回采样。 True partitions 否分区数，有放回采样需设置该参数，数据量较大时可将该参数调大。 10 random_seed 否随机种子。 1234

AI开发平台MODELARTS 数据处理

云地图服务 KOOMAP-KooMap服务提供哪些公共管理功能

KooMap服务提供哪些公共管理功能 KooMap服务提供数据管理、工作共享空间管理、任务管理、用量统计4项公共管理功能，具体如下：数据管理：管理各类影像和矢量数据，包括数据导入、查看、下载、迁移、查询以及删除等操作。工作共享空间管理：把具有共同特性的数据处理任务放置在同一个工作空间，供用户协同操作，提高工作效率。任务管理：以任务形式对导入的影像进行处理，输出处理成功的成果数据。用户可根据实际需求在工作共享空间中创建、查询、启动、停止、归档、解归档、删除任务等操作。用量统计：统计卫星影像生产服务/实景三维生产服务的时空专属存储、卫星影像生产服务用量、实景三维生产服务用量。时空专属存储（卫星影像生产服务包括导入的原始卫星影像、矢量数据、生产资料和成果影像存储总量。实景三维生产服务包括用户上传的数据、数据生产过程中产生的中间数据以及实景三维模型成果数据的存储总量）。卫星影像生产服务用量：统计L2、L3、L4、L5处理等级的成果影像存储用量、成功处理的次数。实景三维生产服务用量：统计成功建模的倾斜摄影影像的像素点数量、成功处理的次数。父主题：数据处理

云地图服务 KOOMAP 数据处理

对象存储服务 OBS-在线解压:约束与限制

约束与限制权限限制：需要使用 IAM 增加Tenant Administrator权限后才能设置、获取、删除在线解压策略。区域限制：在线解压功能支持的区域请参见功能总览。包及文件大小限制：单个ZIP包大小上限为1GB。单个ZIP包内最多可包含65536个文件。 ZIP包内，单个文件解压后最大为40GB。时间限制： ZIP包解压任务最大时长为10分钟。功能限制： ZIP包的后缀必须为zip。 ZIP包名称中不可带有中文标点符号、特殊符号和特殊编码。针对ZIP包嵌套的场景，在线解压策略的事件类型需设置为ObjectCreated:*或ObjectCreated:CompleteMultipartUpload。目前不支持解压任务完成后给用户发送消息通知。目前仅支持解压压缩算法为deflated的ZIP包，此处的压缩算法与WINRAR等软件提供的Store、Normal等压缩方法不等同。解压路径加上压缩包解压出文件的文件名，总字符长度不可超过1024，否则会导致解压失败。目前不支持解压加密ZIP包。

对象存储服务 OBS 数据处理

对象存储服务 OBS-在线解压:注意事项

注意事项建议设置精准的前缀，同一个桶下的不同触发条件不能包含或重叠，触发条件指策略配置项中的事件、前缀以及后缀。例如，同一个桶下的两个解压策略event-0001和event-0002，假设event-0001的前缀配置为aa，则event-0002的前缀不可配置为aaaa，因为两者具有包含关系。当前缀置空时，解压策略将默认匹配该桶下的全部ZIP包，可能会触发循环执行。例如，ZIP包“AA.zip”中包含ZIP包“BB.zip”。若前缀置空，当"AA.zip"解压完成后，系统会继续对解压出的"BB.zip"进行解压。设置前缀可以规避该问题。目标目录：ZIP包解压生成文件的存放目录，如果不设置，函数计算会将生成的文件存放到当前桶的主目录下。若ZIP包中包含非UTF-8或GB 2312编码的文件名或文件夹（文件目录）名，可能导致解压生成文件的文件名或文件目录名出现乱码、解压过程中断等情况，请使用UTF-8或GB 2312编码命名您的文件或文件目录。上传归档存储的ZIP包，不会触发ZIP包解压，若桶已开启归档数据直读功能，则可以触发ZIP包解压。上传深度归档存储的ZIP包，不会触发ZIP包解压。 ZIP包解压处理单个压缩包的最长处理时间是10分钟，超过10分钟未完成会解压失败。

对象存储服务 OBS 数据处理

云地图服务 KOOMAP-卫星影像生产服务有哪些功能

卫星影像生产服务有哪些功能卫星影像生产服务可以实现色彩增强与几何粗纠正L2处理、色彩增强与精纠正L3处理、正射纠正L4处理以及影像镶嵌L5处理，具体如下： L2处理：对原始遥感光学卫星影像进行色彩增强与几何粗纠正处理，输出L2级的成果数据。 L3处理：对原始遥感光学卫星影像进行色彩增强与几何精纠正处理，输出L3级的成果数据。 L4处理：对原始遥感光学卫星影像进行色彩增强与正射纠正处理，输出L4级的成果数据。 L5处理：在L4级数据的基础上执行影像匀色、镶嵌处理，输出L5级成果数据，并支持矢量边界裁切、瓦片金字塔等多种形式的成果输出。父主题：数据处理

云地图服务 KOOMAP 数据处理

云地图服务 KOOMAP-实景三维生产服务支持哪些建模类型和任务类型

实景三维生产服务支持哪些建模类型和任务类型实景三维生产服务是对倾斜摄影数据进行专业处理，生成各行业可使用的实景三维数据。建模类型：纹理模型实景三维：对多视角影像进行分布式并行处理，生成带纹理的三维Mesh模型数据。支持影像畸变较正，纹理贴图、纹理图匀光匀色，降低影像畸变对精度的影响以及数据采集光照差异造成的色彩不均匀的问题。显式辐射场实景三维：支持照片级重建，空间测量，真实还原多视角光影效果，显著提升模型真实感。支持业界主流渲染引擎的实时渲染，无额外适配成本。任务类型：无控建模：根据设置的建模参数，对原始影像进行实景三维建模。建模过程中无需进行人工刺点。无控建模速度快，适用于不要求超高精度或绝对地理坐标的场景。有控建模：根据设置空三建模参数，对原始影像先进行空三建模，然后利用生产资料对应的像控点坐标信息在原始图片上进行人工刺点，适用于需要生成高精度或绝对地理坐标的场景。一般情况下，有控建模后的成果模型数据比无控建模精度更高。刺点：是指将像控点位置标识到图片上的过程。父主题：数据处理

云地图服务 KOOMAP 数据处理

IoT边缘 IoTEdge-查看SDK运行日志:安装包部署-SDK应用日志

安装包部署-SDK应用日志通过”安装包”部署的SDK应用可以下述方式查看日志。进入/var/IoTEdge/downloaded-job/run目录. cd /var/IoTEdge/downloaded-job/run 找到相应的安装包目录，找到myapp_running.log查看日志。可以看到SDK应用启动的日志如下通过用MQTT设备模拟器发送数据，可以看到SDK处理相应的消息日志。

IoT边缘 IoTEdge 集成ModuleSDK进行数据处理

网络智能体-数据探索:异常检测

异常检测时序数据序列中存在模式不一致的异常点（如时序数据超出正常范围的上/下界，突然的上升或下降，趋势改变），时序数据的异常检测旨在快速准确地找到这些异常点。在JupyterLab环境编辑区域，“选择数据”代码框下方单击“数据探索”。选择“时序分析”页签。在左侧目录树上单击“异常检测”。设置“时间列”、“特征列”、“异常类型”等参数，具体参数说明如表5所示。表5 参数说明参数参数说明时间列待异常检测时序数据的时间列。特征列待异常检测时序数据的特征列。异常类型异常检测类型: 数值范围表示检测平稳时序数据是否异常，给出异常判断参考区间。突升/突降表示检测平稳时序数据中突增或突降的异常点。异常区间获取方法获取用于判断时序数据异常的上/下界区间的方法，支持：箱线图 3 Sigma 两者任意一个检测到异常两者同时检测到异常突变点个数 “异常类型”为“突升/突降”时展示，表示需要检测到平稳时序数据中突增或突降点的个数。默认值为5，检测结果有可能会小于这个个数。是否进行周期分解 “异常类型”为“突升/突降”时展示，表示如果待检测数据为周期数据，是否需要进行周期分解，用于增强数据的差异性。默认关闭。一个周期内的数量值 “是否进行周期分解”开启时展示此参数，表示进行周期分解时，一个周期内的数据量。是否进行过滤 “异常类型”为“突升/突降”时展示，表示是否对检测出的Top N个点进行二次过滤。默认关闭。过滤阀值 “是否进行过滤”开启时展示，表示如果对检测出的Top N个点进行二次过滤，则该参数作为过滤阈值，小于阈值的点将被认为是突变点。提交分析请求。提交分析任务至分析完成期间，可单击此按钮终止分析任务。单击“分析”。分析完成后右侧展示分析结果图，可单击“保存至特征工程”将分析结果图保存到JupyterLab环境编辑区域。

网络智能体数据处理

网络智能体-数据探索:特征分析（特征选择）

特征分析（特征选择）特征选择就是使用算法对特征进行相关性分析，根据结果从众多特征中剔除不重要的特性，从而保留重要的特性。当前系统支持如下两种特征选择方法：过滤法(Filter) 按照发散性或者相关性对各个特征进行评分，设定待选择评分数最高的特征个数，选择特征。包装法(Wrapper) 算法每次根据皮尔逊相关系数选择一个相关系数最大的特征进行丢弃，并进行模型训练得出精度，当精度低于设置的阈值时，停止丢弃特征。使用过滤法时提供如下算法：卡方检验卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度。实际观测值与理论推断值之间的偏离程度就决定卡方值的大小，如果卡方值越大，二者偏差程度越大；反之，二者偏差越小；若卡方值为0，表明实际值与理论值完全符合。 F检验 F检验是一种在零假设之下，统计值服从F-分布的检验。信息增益信息增益是对两个随机变量之间相关信息量的度量，值越大说明变量之间的相关性越强。上述算法中，卡方检验、F检验和信息增益可用于分类任务，F检验和信息增益可用于回归任务。在JupyterLab环境编辑区域，“选择数据”代码框下方单击“数据探索”。选择“特征分析”页签。在左侧目录树上单击“特征选择”。设置“标签列”、“方法”、“算法”等参数，具体参数说明如表2所示。表2 参数说明参数参数说明标签列单击“”选择标签列，用以分析特征列和标签列的相关性。方法特征分析可选用的方法，目前支持如下两种方法：过滤法(Filter) 包装法(Wrapper) 算法 “方法”选择“过滤法”时可选用的具体分析算法，目前支持如下算法：卡方检验 F检验信息增益选择特征数特征分析完成后按相关性大小展示的Top N特征数。标签列是否为类别型标签列设置后，该参数会根据标签列的类型自动判断是否为类别型，用户可使用默认值。随机种子 “算法”为“信息增益”时设置，用以生成随机数。排除特征列执行包装法前需要排除的特征列，这些被排除的列不参与后续特征选择，单击“”选择排除特征列。指标阈值模型训练精度阈值。使用“包装法(Wrapper)”会对特征进行反复训练，当训练结果精度低于设置的阈值时，停止丢弃特征。提交分析请求。提交分析任务至分析完成期间，可单击此按钮终止分析任务。截取Top N柱状图。用户可以另存图片至本地使用。清空界面上的相关性分析Top N柱状图截图。单击“分析”。系统自动分析完成后，将以柱状图和列表形式展示分析结果，柱状图中展示的特征列的个数即为设置的“选择特征数”值。列表默认按照相关性评分降序展示所有的特征列。选择特征列。保留分析结果所有Top N个特征列。单击Top N柱状图结果下方的“应用”。页面跳转至JupyterLab环境编辑区域并生成“选择特征”代码框，“列选择”下展示的“列名”为柱状图展示的所有特征列。单击图标，运行“选择特征”代码框内容。保留部分分析结果中的特征列。勾选“分析结果”列表中特征列前的复选框，如需选择所有特征列，可勾选表头中的复选框。单击“分析结果”列表下方的“应用”。页面跳转至JupyterLab环境编辑区域并生成“选择特征”代码框，“列选择”下展示的“列名”为用户勾选的特征列。单击图标，运行“选择特征”代码框内容。

网络智能体数据处理

网络智能体-数据探索:特征分析（ACE）

特征分析（ACE） ACE（Alternating Conditional Expectation）是一种在回归分析中寻找响应变量Y（标签）与预测变量X（特征）之间最佳转换的算法，这些（转换后的）预测变量和（转换后的）响应变量之间产生最大的线性效应。ACE分析只支持回归类任务。在JupyterLab环境编辑区域，“选择数据”代码框下方单击“数据探索”。选择“特征分析”页签。在左侧目录树上单击“ACE”。设置“标签列”、“列名”、“特征列变换初始化方法”等参数，具体参数说明如表3所示。表3 参数说明参数参数说明标签列响应变量，单击“”选择标签列，仅支持单列选择。列名预测变量，单击“”选择列名，支持多列选择。特征列变换初始化方法 ACE分析时，特征列的初始化方式，支持如下特征列变换初始化方法： zeros 表示0作为初始值。 zero-mean 表示将特征值减去均值后的值作为初始值。 std 表示将特征值减去均值再除以方差后的值作为初始值。标签列变换初始化方法 ACE分析时，标签列的初始化方式，支持如下标签列变换初始化方法： zero-mean std 迭代误差容忍度迭代终止条件，当迭代误差达到“迭代误差容忍度”值时，终止迭代。默认值为“0.001”。最大迭代次数迭代终止条件，当迭代次数达到“最大迭代次数”时，终止迭代。默认值为“100”。 “迭代误差容忍度”和“最大迭代次数”无论哪个先满足，迭代都会终止。近邻样本数算法迭代过程中，需要求解到每个点的近邻数量，默认值为“100”。是否使用kd-tree 是否使用k-维树来搜索近邻数。k-维树是一种分割k维数据空间的数据结构。提交分析请求。提交分析任务至分析完成期间，可单击此按钮终止分析任务。截取ACE分析图。用户可以另存图片至本地使用。清空界面上ACE分析截图。单击“分析”。分析完成后右侧展示分析结果图，可单击“保存至特征工程”将分析结果图保存到JupyterLab环境编辑区域。

网络智能体数据处理

网络智能体-数据探索:时序分解

时序分解时间序列的变化会受到长期趋势（T）、季节变动（S）、周期变动（C）以及不规则变动（L）的影响，时序数据分解是指使用加法模型或乘法模型将原始数据拆分成上述四部分。在JupyterLab环境编辑区域，“选择数据”代码框下方单击“数据探索”。选择“时序分析”页签。在左侧目录树上单击“时序分解”。设置“时间列”、“特征列”、“模型”等参数，具体参数说明如表4所示。表4 参数说明参数参数说明时间列待分解时序数据的时间列。特征列待分解时序数据特征列。模型时序数据分解使用的分解模型，支持：加法模型如果季节变动的幅度以及趋势和周期的波动都不随时间变化而变化，则比较适合使用加法模型。乘法模型如果季节变动的幅度或趋势和周期的波动随时间变化而变化，则比较适合使用乘法模型。周期时序数据周期值。提交分析请求。提交分析任务至分析完成期间，可单击此按钮终止分析任务。单击“分析”。分析完成后右侧展示分析结果图，可单击“保存至特征工程”将分析结果图保存到JupyterLab环境编辑区域。

网络智能体数据处理

网络智能体-数据探索:图表分析

图表分析支持对当前特征数据进行图表展示。操作步骤如下所示。在JupyterLab环境编辑区域，“选择数据”代码框下方单击“数据探索”。展开“图表分析”页签，按需求设置图表图形。界面参数说明如表1所示。表1 参数说明功能入口功能说明参数参数说明图表类型及图表展示参数设置。图表类型特征数据可展示的图表类型，包括散点图、折线图、直方图、箱线图、散点图矩阵、KDE曲线、3D散点图。如果特征数据为时序数据，支持的图表类型分别有趋势图、直方图、箱线图、KDE曲线、ACF与PACF。标题特征数据图表标题。 X轴单击“”，从特征数据的特征列中选择数据列作为图表X轴。 Y轴单击“”，从特征数据的特征列中选择数据列作为图表Y轴。 Z轴单击“”，从特征数据的特征列中选择数据列作为图表Z轴。列名单击“”，选定特征数据的特征列作为直方图、箱线图、KDE曲线、散点图矩阵、ACF与PACF展示的数据来源。视觉维度配置 “是否启用视觉维度”为开启状态时，单击“标签列名”对应的“”，选定特征数据的特征列作为散点图、折线图、3D散点图的视觉维度标签，视觉维度标签将展示在图表右上角。包含高斯分布曲线是否展示高斯分布曲线开关。图表类型为直方图时展示。直方图柱数直方图展示柱的数量。图表类型为直方图时展示。 Lag 绘制ACF与PACF图表时设置的滞后阶数。图表外观设置主题图表主题散点图设置设置散点图标记点类型和标记点大小。折线图设置设置折线图线条是否平滑、标记点类型以及大小。视觉维度设置设置视觉维度的样式，如颜色、大小、形状等。截取及清空图表展示图截取当前图表图形，截取后的图形展示在左侧空白区域。清空截取的图表图形。单击右下方“保存至特征工程”可将绘制的图表保存至JupyterLab环境编辑区域。

网络智能体数据处理

云服务器内容精选

数据处理

7*24

备案

专业服务

退订

建议反馈

售前咨询热线