任务-华为云

ASTRO轻应用 ASTROZERO-启用自动化任务:测试自动化任务

测试自动化任务自动化任务启用成功后，会出现“测试”按钮，单击该按钮可进行自动化测试。自动化任务启用成功后，单击页面右上方的“测试”。图3 测试自动化任务触发条件为“流程事件触发”时（如图4），不支持测试功能，即无测试按钮。图4 流程事件触发在弹出的测试页面，选择一条记录，单击“开始测试”。图5 选择一条记录触发条件为“定时触发”时（如图6），无需选择记录，即可立即测试（如图7）。图6 定时触发图7 测试定时触发自动化任务执行成功后，单击“跟踪”，可查看自动化任务测试结果。图8 查看测试结果

ASTRO轻应用 ASTROZERO 创建自动化任务实现智能化操作

ASTRO轻应用 ASTROZERO-启用自动化任务:启用自动化任务

启用自动化任务参考登录零代码工作台中操作，登录AstroZero零代码工作台。在全部应用中，单击应用后的“...”，选择“编辑”，进入编辑应用页面。单击页面右上角的，进入自动化页面。在自动化列表中，单击未启用自动化任务后的。图1 编辑自动化任务在自动化任务设计页面，单击右上角的“已关闭”，即可启用自动化任务。 “已关闭”状态变为“运行中”，表明自动化任务启用成功。图2 启用自动化任务

ASTRO轻应用 ASTROZERO 创建自动化任务实现智能化操作

文档数据库服务 DDS-取消定时任务:请求示例

请求示例取消项目ID为b02ce40e8cb84a8e980fdb11fac657db下的ID是3861199d-c196-4791-bcd0-b45fde754f50的定时任务。 DELETE https://{endpoint}/v3/b02ce40e8cb84a8e980fdb11fac657db/scheduled-jobs/3861199d-c196-4791-bcd0-b45fde754f50

文档数据库服务 DDS 任务管理

数据治理中心 DATAARTS STUDIO-MySQL同步到DWS:目的端优化

目的端优化 DWS写入优化可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。图2 添加高级属性表3 DWS写入优化参数参数名类型默认值说明写入模式 enum UPSERT DWS的写入模式，可在目的端配置中设置，实时处理集成作业推荐使用COPY MODE。 UPSERT：为批量更新入库模式。 COPY：为DWS专有的高性能批量入库模式。批写最大数据量 int 50000 DWS单次写入的最大条数，可在目的端配置中设置。当缓存的数据达到“批写最大数据量”和“定时批写时间间隔”之一的条件时，触发数据写入。单次写入条数增大可以减少请求DWS的次数，但可能导致单次请求时长增加，同时也可能导致缓存的数据增加进而影响内存使用。请综合考虑DWS规格和负载，适当调整该值。定时批写时间间隔 int 3 DWS单次写入的时间间隔，可在目的端配置中设置。当缓存的数据达到定时批写时间间隔的条件，触发数据写入。增大该值有助于增加单次写入时缓存的数据条数，但由于写入频率降低，会提升DWS数据可见的时延。 sink.buffer-flush.max-size int 512 DWS单次写入的数据大小，默认为512MB，可在目的端配置的高级配置中设置。当缓存的数据达到数据大小限制时，触发数据写入。与批写最大数据量类似，单次写入大小增大可以减少请求DWS的次数，但可能导致单次请求时长增加，同时也可能导致缓存的数据增加进而影响内存使用。请综合考虑DWS规格和负载，适当调整该值。

数据治理中心 DATAARTS STUDIO 任务性能调优

数据治理中心 DATAARTS STUDIO-MySQL同步到DWS:源端优化

源端优化 MySQL抽取优化可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。图1 添加自定义属性可使用的调优参数具体如下：表1 全量阶段优化参数参数名类型默认值说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据，默认为true。跳过读取binlog数据可以有效降低内存使用。需要注意的是，跳过读取binlog功能只提供at-least-once保证。 scan.incremental.snapshot.chunk.size int 50000 分片大小，决定了全量阶段单个分片最大数据的数据条数以及分片个数。分片大小越大，单个分片数据条数越多，分片个数越小。当表的条数过多时，作业会划分较多的分片，从而占用过多的内存导致内存问题，请解决表的条数适当调整该值。当scan.incremental.snapshot.backfill.skip为false时，实时处理集成作业会缓存单个分片的数据，此时分片越大，占用内存越多，引发内存溢出，在此场景下，可以考虑降低分片大小。 scan.snapshot.fetch.size int 1024 全量阶段抽取数据时，从Mysql侧单次请求抽取数据的最大条数，适当增加请求条数可以减少对Mysql的请求次数提升性能。 debezium.max.queue.size int 8192 数据缓存队列条数，默认为8192，当源表中单条数据过大时（如1MB），缓存过多数据会导致内存溢出，可以考虑减小该值。 debezium.max.queue.size.in.bytes int 0 数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium.max.queue.size无法有效限制内存占用时，考虑显式设置该值来限制缓存数据的大小。 jdbc.properties.socketTimeout int 300000 全量阶段连接Mysql的socket超时时间，默认为5分钟。当Mysql负载较高，作业出现SocketTimeout异常时，考虑增大该值。 jdbc.properties.connectTimeout int 60000 全量阶段连接Mysql的连接超时时间，默认为1分钟。当Mysq负载较高，作业出现ConnectTimeout异常时，考虑增大该值。表2 增量阶段优化参数参数名类型默认值说明 debezium.max.queue.size int 8192 数据缓存队列条数，默认为8192，当源表中单条数据过大时（如1MB），缓存过多数据会导致内存溢出，可以考虑减小该值。 debezium.max.queue.size.in.bytes int 0 数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium.max.queue.size无法有效限制内存占用时，考虑显式设置该值来限制缓存数据的大小。

数据治理中心 DATAARTS STUDIO 任务性能调优

工业数字模型驱动引擎-查看同步质量监控:实例同步日志说明

实例同步日志说明 “实例同步状态”统计的是实例同步成功率。当该状态显示“暂无数据”，则表示未同步数据，可能是实体未发布或模型初次同步失败等原因导致。单击“实例同步状态”链接，弹出实例同步日志窗口。该弹窗展示的是xDM-F实体对应的实例数据入图调度执行情况。图2 实例同步日志示例图2中的调度执行状态的含义，详细说明请参见表2。表2 调度执行状态含义说明调度执行状态说明同步成功表示实例数据入图成功。同步失败表示实例数据入图失败，请单击打开调度详情页查看错误信息。暂停表示由于存在待调度或调度中的实例调度任务，所以增量同步已被暂停。待任务调度完成，系统将为您自动恢复同步被暂停的实例数据。阻塞表示当前模型尚未更新，导致实例数据同步被阻塞。以下情况下实例数据同步会受阻。如果xDM-F模型新增了关联属性或唯一键属性，或是新增属性的“入图”值为是，但LinkX-F中未同步xDM-F实体变更信息，此时实例数据同步受阻。如果xDM-F模型属性对应的“入图”值有修改，但LinkX-F中未同步xDM-F实体变更信息，此时实例数据同步受阻。如果想同步阻塞期间的实例数据，需在七天内执行同步实体变更信息操作。待模型更新后，系统将为您自动恢复同步被阻塞的实例数据。相关操作请参见: 同步xDM-F数据实体变更信息同步xDM-F关系实体变更信息如有需要，您还可：筛选调度日志：在“执行开始时间”选择开始时间和结束时间，单击“搜索”。查看调度日志执行详情：单击具体日志的“操作”列处的，在弹窗中查看调度执行进展、消息解析详细信息和入图详细信息等。如果消息解析失败，单击“错误信息”列处的，查看错误详情。

工业数字模型驱动引擎 xDM-F同步任务

工业数字模型驱动引擎-数据入图功能使用指引:多源数据入图属性规则说明

多源数据入图属性规则说明同一实体支持多个源端关系型数据库映射，您可为同一实体的不同属性分别配置不同表字段的映射。然后使用不同的映射分别配置入图任务进行入图，实现多源数据的融合。数据实体维护关系型数据映射具体操作请参见配置关系型数据库映射（源端映射）。关系实体维护关系型数据映射具体操作请参见配置关系型数据库映射（源端映射）。此处，以一个简单例子做说明，具体如下：一个实体除ID外有5个属性，即Attribute1、Attribute2、Attribute3、Attribute4、Attribute，按如下规则映射：源端关系型数据库映射1针对ID、Attribute1、Attribute2三个属性和表里的字段id、attr1、attr2做了映射。源端关系型数据库映射2针对ID、Attribute3、Attribute4、Attribute5四个属性和表里的字段id、attr3、attr4、attr5做了映射。实例数据入图后，实体ID为1的实例，同时具有两个不同源端关系型数据库中相对应的属性值。图2 多源端实例数据入图属性组合规则

工业数字模型驱动引擎数据入图任务

云数据库 RDS-查看任务:支持查看的任务

支持查看的任务表1 支持查看的任务任务类型分类任务名称即时任务创建实例创建SQL Server实例、创建SQL Server只读实例。实例生命周期重启SQL Server实例、停止SQL Server实例、开启SQL Server实例、删除SQL Server实例。变更实例扩容SQL Server实例、SQL Server实例主备倒换、克隆SQL Server实例、SOL Server单实例转主备、SQL Server规格变更、SQL Server磁盘类型变更、SQL Server实例迁移可用区、SQL Server修改字符集。连接管理 SQL Server创建公网域名、SQL Server修改公网域名、SQL Server创建内网域名、SQL Server修改内网域名、SQL Server实例绑定弹性公网IP、SQL Server实例解绑弹性公网IP、SQL Server更新SSL证书。备份与恢复 SQL Server恢复到新实例、SQL Server恢复到已有实例。开启FileStream存储 SQL Server开启FileStream。安全与加密 SQL Server开启TDE、SQL Server滚动TDE证书。定时任务实例生命周期开启SQL Server实例、SQL Server实例系统升级。

云数据库 RDS 任务中心

云数据库 RDS-获取指定实例和时间范围的任务信息（SQL Server）:URI

URI URI格式 GET /v3/{project_id}/instances/{instance_id}/tasklist/detail?start_time={start_time}&end_time={end_time} 参数说明表1 参数说明名称是否必选说明 project_id 是租户在某一Region下的项目ID。获取方法请参见获取项目ID。 instance_id 是实例ID。 start_time 是开始时间，格式为UTC时间戳。 end_time 否结束时间，格式为UTC时间戳。

云数据库 RDS 获取任务信息

云堡垒机 CBH-新建运维任务:后续管理

后续管理运维任务创建完成后，可在任务列表页面，管理已创建任务，包括管理关联执行账户、删除任务、启停任务、立即执行任务等。若需补充关联执行账户，可单击“关联”，快速关联执行账户、账户组。若需删除任务，可一个或多个选择目标任务，单击“删除”，立即删除任务。若需禁用任务的周期执行，可勾选一个或多个“已启用”状态的任务，单击“禁用”，任务状态变更为“已禁用”，任务立即失效。若需立即执行任务，可单击“立即执行”，立即执行运维任务。任务执行过程中，按照任务步骤依次执行。当一个任务步骤被中断或所选资源不可达时，后续任务步骤将被终止不再执行。

云堡垒机 CBH 运维任务

对象存储迁移服务 OMS-创建迁移任务:适用场景

适用场景适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景，通过创建对象存储迁移任务，可将对象数据进行快速迁移。如果单个桶数据量大于3 TB或对象个数大于500万，建议您创建迁移任务组来进行迁移。 OMS 默认会将等待超过30天未调度的任务自动设置为失败，并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中，请控制创建任务的频率。如果单个对象大小超过500G，建议您通过提交工单的方式，开通并发分片白名单配置，提升迁移速率。在迁移过程中，系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹，包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。

对象存储迁移服务 OMS 迁移任务

对象存储迁移服务 OMS-创建迁移任务:前提条件

前提条件已注册华为账号并开通华为云，完成实名认证。已获取源端和目的端账号的AK/SK。源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取方式参见目的端桶权限获取。已在OBS服务中创建桶。您过去24小时内已创建的迁移任务未满1000000个。您名下处于“等待中”状态的迁移任务未满1000000个。

对象存储迁移服务 OMS 迁移任务

对象存储迁移服务 OMS-创建同步任务:前提条件

前提条件已注册华为账号并开通华为云，完成实名认证。已获取源端和目的端账号的AK/SK。源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取方式参见目的端桶权限获取。已在华为云OBS服务中创建桶。您过去24小时内已创建的迁移任务未满1000000个。您名下处于“等待中”状态的迁移任务未满1000000个。您名下处于“同步中”状态的同步任务未满5个。

对象存储迁移服务 OMS 同步任务

对象存储迁移服务 OMS-创建同步任务:操作步骤

操作步骤登录管理控制台，进入“对象存储迁移服务”页面。在左侧导航树，选择“同步任务”。单击“创建同步任务”。仔细阅读弹出的隐私协议声明，勾选“同意以上隐私协议”，单击“确定”，进入“创建同步任务”页面。选择源端/目的端。 1. 选择源端，具体参数说明参见表1。表1 源端选择参数参数说明数据源待迁移的源端云服务提供商，包括：华为云亚马逊云（中国）阿里云微软云腾讯云谷歌云七牛云青云百度云金山云优刻得 appID 如果源端云服务提供商为腾讯云，则需要输入该参数，appID 是您腾讯云账户的一个标识。访问密钥源端云服务提供商的访问密钥（AK）。最大长度是100个字符。私有访问密钥源端云服务提供商的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。是否指定桶名当您不具备列举桶权限，但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数，通过指定源端桶的路径来进行迁移。设置说明参见表2。表2 “是否指定桶名”的设置说明如果... 那么... 开启“是否指定桶名” 在“选择区域”下拉框中选择源端桶所在区域。在“桶名或路径”文本框中输入源端桶名或带桶名的路径。单击“连接源端桶”。对象存储迁移服务将检查源端信息填写是否正确。如果填写正确，会提示连接桶成功。关闭“是否指定桶名”（默认设置）单击“列举源端桶”。对象存储迁移服务将检查源端信息填写是否正确。如果填写正确，且您的账号具有列举桶名的权限，则会在“桶名”中列举您名下的所有桶。在“桶名”中选择待迁移数据所在的桶。 2. 选择目的端，具体参数参见表3。表3 目的端选择参数参数说明访问密钥华为云的访问密钥（AK）。最大长度是100个字符。私有访问密钥华为云的私有访问密钥（SK），与AK相匹配。最大长度是100个字符桶名存放迁移数据的华为云OBS桶。单击“下一步”，设置任务参数。具体选项参见表4。表4 任务参数参数说明元数据迁移方式忽略元数据：OMS只迁移源端Content-Type、Content-Encoding元数据。保留元数据：OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外，其他所有字符均不支持。服务端加密如果开启“服务端加密”，所有数据在迁移到OBS服务后都将被加密存储。说明：默认使用SSE-KMS加密，不支持其它加密方式或者自定义加密。使用KMS服务端加密可能会降低迁移速率10%左右。当前区域支持KMS加密时，此参数才可用。配置存储策略选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见存储类型介绍。解冻归档数据归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。选择‘是’：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。须知：目前支持以下云服务提供商的归档数据的自动解冻：华为云、阿里云、金山云、腾讯云。解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。默认取回时间为3天，当迁移对象数超过300 w或容量大小超过3 TB时，为避免迁移时间过长，数据再次归档后导致迁移失败，请选择迁移任务组方式迁移。在迁移任务开始后，暂停/重启操作会导致所有取回重新执行，造成解冻周期延长、存储费用增加，请谨慎操作。对象存储数据从源端云服务提供商迁移到华为云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。选择‘否’：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。同名对象覆盖方式大小/最后修改时间对比覆盖：对于源端和目的端存在的同名对象，保留最后修改时间较新的对象；如果最后修改时间相同，大小不同，则源端覆盖目的端；如果最后修改时间和大小都相同，则跳过迁移。不覆盖：对于源端和目的端存在的同名对象，跳过源端对象，保留目的端对象。 CRC64对比覆盖：对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间对比覆盖策略执行。说明：目前仅支持华为云、阿里云、腾讯云。需满足源端、目的端对象的加密状态一致。全覆盖：对于源端和目的端存在的同名对象，源端对象直接覆盖目的端对象。一致性校验大小/最后修改时间校验：默认配置，通过对比源端和目的端对象大小+最后修改时间，判断迁移后数据是否完整。 CRC64校验：通过对比源端和目的端对象元数据中CRC64值，判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间校验策略。单击“下一步”，进入确认信息页面。确认同步任务信息的设置，并启动同步。 1. 浏览各项同步任务参数的设置是否正确。如果有误，可以单击“上一步”返回之前的页面进行修改。 2. 单击“启动同步”。提示任务提交成功。返回任务列表查看该同步任务。关于状态说明，参见表5 同步任务状态。表5 同步任务状态状态说明同步中表明源端对象存储服务的数据正在进行同步。说明：创建同步任务后，该任务状态显示为同步中，仅代表可以接受源端发送的同步请求并进行同步，需要您前往源端完成同步请求的配置，详情请参见源端配置同步请求。通过源端配置，使得源端新增/修改对象能够发送同步请求。配置完成后，您的数据将开始进行同步迁移。已停止表明停止对源端对象存储服务数据的同步。说明：如要停止对源端对象存储服务数据的同步，请先在源端执行暂停操作，建议等待十五分钟后，然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。操作同步任务。 1. 启动同步任务。状态为“已停止”的同步任务，才可执行同步任务的重新启动。停止后再次启动同步任务，出于安全考虑，系统不保存个人数据，需要重新输入源端，目的端访问密钥以及私有访问密钥，完成身份验证。 2. 停止同步任务。状态为“同步中”的同步任务，才可执行同步任务的停止。如要停止对源端对象存储服务数据的同步，请先在源端执行暂停操作，建议等待十五分钟后，然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。 3. 删除同步任务。状态为“已停止”的同步任务，才可执行同步任务的删除。

对象存储迁移服务 OMS 同步任务

对象存储迁移服务 OMS-创建迁移任务组:前提条件

前提条件已注册华为账号并开通华为云，完成实名认证。已获取源端和目的端账号的AK/SK。源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取方式参见目的端桶权限获取。已在华为云OBS服务中创建桶。 24小时内，单个Region内创建迁移任务组数量未满300个。您过去24小时内已创建的迁移任务未满1000000个。您名下处于“等待中”状态的迁移任务未满1000000个。

对象存储迁移服务 OMS 迁移任务组

云服务器内容精选

任务

7*24

备案

专业服务

退订

建议反馈

售前咨询热线