检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源组不具有公网网段，因此本方案仅能与数据源的私网连通。 前提条件 已购买资源组，详情请参见购买数据集成资源组。 已购买并配置虚拟专用网络VPN，与云上的至少一个虚拟私有云VPC连通。若未开通虚拟专用网络VPN请参考经典版VPN购买流程进行配置。 准备工作 查询打通网络过程中所涉及到对象的网段（包含数据源、
用于连通数据源和资源组网络的中间桥梁，本方案中需要使用虚拟专用网络VPN网关所配置的虚拟私有云和对应的子网。 查看方式： 登录虚拟专用网络控制台，在左侧导航栏，选择“虚拟专用网络 > VPN网关”，在列表中找到连通其他云所使用的VPN网关，单击VPN网关名称，查看关联的虚拟私有云和本端子网。
只能包含英文字母、数字和下划线。 *时间配置 可选择“按年”、“按月”、“按日”、“按小时”或“按分钟”，然后根据需要选择“快速选择”或“自定义”进行时间条件的设置。 自定义时，“-”表示从当前时间向前的时间段，“+”表示从当前时间向后的时间段。例如，过去一年到未来三年，可以按年自定义为“-1到+3”或“+3到-1”。
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
作业的计划时间和开始时间相差大，是什么原因？ 问题描述 如图所示，在作业实例监控页面查看作业运行记录时，发现作业的计划时间和开始时间相差较大。其中计划时间是作业预期开始执行的时间，即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。 图1 问题示例图 可能原因 这是因为
套餐包（按需资源包）：建立在按需计费的基础之上，通过预付费购买一定时间期限内的使用量套餐包。相对于按需计费更优惠，对于长期使用者，推荐使用套餐包。 创建套餐包计费的增量包后，购买的是和具体的区域、实例规格绑定的资源包，不会自动创建资源组，而是在生效期内的每个计费月内按月提供745小时/月的使用时长，在绑定区域为在DataArts
数据集市 数据集市，也称为DM模型。是汇总表的统称。汇总逻辑表是由一个特定的分析对象（如会员）及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度（如会员），汇总逻辑表面向用户提供了以统计粒度（如会员）为主题的所有统计数据（如会员主题集市）。 汇总表分为“手
默认情况下，节点名称会与选择的CDM作业保持同步。若不需要节点名称和作业名称同步，请参考禁用作业节点名称同步变化禁用该功能。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间
取决于源端数据源的性能。 如需优化，请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时，网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0
版站点入云VPN实现数据中心和VPC互通。其中在创建VPN网关时，虚拟私有云选择步骤2所创建的中转VPC，本端子网除了需要添加中转VPC的子网之外，还需要添加实时资源组的VPC网段。 在其他云购买专线或VPN虚拟专用网络 具体操作请参考其他云对应官网资料进行专线或VPN购买和对接。
getYesterday(String pattern) 获取执行pattern的计划时间前一天的时间字符串，pattern为日期、时间模式，请参考日期和时间模式。 获取作业调度计划时间的前一天的时间，具体到日期： #{Job.getYesterday("yyyy-MM-dd HH:mm:ss:SSS")}
数据架构操作列表 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 资源名称 事件名称 查看主题设计 DAYU_DS dsSubject
HBase）或者表格存储服务（CloudTable）的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。
数据库部署在本地IDC 通过云专线连通网络 通过VPN连通网络 通过公网连通网络 父主题： 网络打通
DataArts Studio的会话超时时间是多少，是否支持修改？ 会话超时时间指的是如果用户超过该时长未操作界面，会话将会失效，需要重新登录。 会话超时策略可以在IAM服务进行设置，如图所示。 会话超时策略默认开启，不能关闭，管理员可以设置会话超时的时长，会话超时时长默认为1个小
在各个地区会产生日志显示时间与本地时区时间不一致的现象，例如，在东八区某地，日志显示时间比本地时区时间少8个小时。因此在CDM迁移数据到云搜索服务的时候，如果是通过CDM自动创建的索引和类型（例如图2中，目的端的“date_test”和“test1”在云搜索服务中不存在时，CDM会在云搜索服
是否支持增量迁移？ 问题描述 CDM是否支持增量迁移？ 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移： 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题： 数据集成（CDM作业）
技术指标 新建原子指标 新建衍生指标 新建复合指标 新建时间限定 父主题： 指标设计
预留一定的时间处理异常，用户可以为基线设置预警余量，则系统会将承诺时间-预警余量作为触发报警的预警时间，判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间内的最晚完成时
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
