检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方案 背景信息 解决方案定位于为用户提供便捷的、系统的方式管理作业,更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业,一个作业可以被多个解决方案复用。 数据开发模块目前支持处理以下几种方式的解决方案。 新建解决方案 编辑解决方案 导出解决方案 导入解决方案 升级解决方案
Access=APP key, SignedHeaders=SignedHeaders, Signature=signature 需要注意的是算法与Access之前没有逗号,但是SignedHeaders与Signature之前需要使用逗号隔开。 得到的签名消息头为: Authorization:
实例监控”。 当前支持批量停止、重跑、继续执行、强制成功多个实例,使用说明参见表1。 其中,批量重跑多个实例时,重跑的顺序如下: 如果作业不依赖上一调度周期,多个实例并行重跑。 如果作业自依赖,多个实例串行重跑,以上一调度周期中实例执行完成的先后顺序为准,先执行完成的先重跑。 在实例列表中,提供如表1所示的操作。
IP),记录下CDM集群所在的VPC和子网。 创建NAT网关,注意选择和CDM集群相同的VPC、子网。 创建完NAT网关后,回到NAT网关控制台列表,单击创建好的网关名称,然后选择“添加SNAT规则”。 图1 添加SNAT规则 选择子网和弹性IP,如果没有弹性IP,需要先申请一个。
String 节点类型: HiveSQL: 执行Hive SQL脚本 SparkSQL: 执行Spark SQL脚本 DWSSQL:执行DWS SQL脚本 DLISQL:执行DLI SQL脚本 Shell :执行Shell SQL脚本 CDMJob:执行CDM作业 DISTransferTask:创建DIS转储任务
String 节点类型: HiveSQL: 执行Hive SQL脚本 SparkSQL: 执行Spark SQL脚本 DWSSQL:执行DWS SQL脚本 DLISQL:执行DLI SQL脚本 Shell :执行Shell SQL脚本 CDMJob:执行CDM作业 DISTransferTask:创建DIS转储任务
图3 时间限定页面 您可以根据实际需要选择如下操作。 当需要... 则... 新建 执行新建时间限定并发布。 编辑 执行3。 发布 执行4。 发布历史 执行5。 下线 执行6。 删除 执行7。 编辑 在需要编辑的时间限定右侧,单击“编辑”,进入编辑时间限定页面。 根据实际需要编辑相关内容。
点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。
说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明:
图3 时间周期页面 您可以根据实际需要选择如下操作。 当需要... 则... 新建 执行新建时间周期并发布。 编辑 执行3。 发布 执行4。 发布历史 执行5。 下线 执行6。 删除 执行7。 编辑 在需要编辑的时间周期右侧,单击“编辑”,进入编辑时间周期页面。 根据实际需要编辑相关内容。
使用云专线直接迁移时的优缺点: 优点:数据无需做多次的搬迁,缩短整体搬迁周期。 缺点:在数据大量传输过程中会占用专线带宽,对客户并行进行的业务存在影响,跨越多个交换机设备。 CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下: CDH → DES → CDM(华为云) → OBS → CDM(华为云)
包: 作业节点调度次数/天增量包: 不同版本的DataArts Studio实例,提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、数据质量监控作业和元数据采集作业的调度次数之和计算的,您可以在新商业模式的DataArts Studio实例卡片上通过“更多
Archive destination USE_DB_RECOVERY_FILE_DEST Oldest online log sequence 1 Current log sequence 2 执行SQL命令SHUTDOWN IMMEDIATE关闭数据库。 执行SQL命令STARTUP
请求方法 HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 表2 HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。
说明 apigateway-signature\Signer.cs SDK代码 apigateway-signature\HttpEncoder.cs sdk-request\Program.cs 签名请求示例代码 backend-signature\ 后端签名示例工程 csharp
情况下您可以通过For Each节点避免重复开发作业。 For Each节点可指定一个子作业循环执行,并通过数据集对子作业中的参数进行循环替换。关键参数如下: 子作业:选择需要循环执行的作业。 数据集:即不同子任务的参数值的集合。可以是给定的数据集,如“[['1'],['3'],
条件分支算子通过获取上游算子的请求参数或结果集进行条件判断,根据定义的表达式来确定下一步执行的分支。注意,多个分支满足条件时仅执行第一个满足条件的分支。 条件分支算子和表达式的配置方法,详见配置条件分支算子。 并行处理 非必选 并行处理算子可以同时执行多个分支逻辑,分支间互不影响。 并行处理算子的配置方法,详见配置并行处理算子。
//鉴权耗时 befor_sql_duration: 402ms //执行SQL预处理耗时 sql_duration: 60001ms //SQL执行耗时 after_sql_duration:18ms //执行SQL后处理耗时 获取APP和API信息 参考访问DataArts S
情况下您可以通过For Each节点避免重复开发作业。 For Each节点可指定一个子作业循环执行,并通过数据集对子作业中的参数进行循环替换。关键参数如下: 子作业:选择需要循环执行的作业。 数据集:即不同子任务的参数值的集合。可以是给定的数据集,如“[['1'],['3'],
其他云数据库所属网络的路由表中需要添加路由,目的地址指向Migration资源组VPC网段,下一跳跳至步骤3中创建的云专线物理连接或VPN对端网关设备。 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段访问数据库的权限。各厂商云数据库添加白名单