检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业的计划时间和开始时间相差大,是什么原因? 问题描述 如图所示,在作业实例监控页面查看作业运行记录时,发现作业的计划时间和开始时间相差较大。其中计划时间是作业预期开始执行的时间,即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。 图1 问题示例图 可能原因 这是因为
该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname
如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。 创建一个MySQL数据库和一个DWS数据库,并创建好表city1和表city2,创表语句如下: MySQL: create table city1(code varchar(10),name varchar(32));
调度任务的生效时间段。 调度周期 选择调度任务的执行周期,并配置相关参数。 分钟 小时 天 周 开始时间 周期调度开始的具体时间,与生效日期中的开始时期配合使用。 间隔时间 两次周期调度之间的间隔时间。 即使上一次调度任务实例未结束,从上次调度开始时间达到间隔时间后,新的调度任务
不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads
CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? CDM可以跨账户使用吗? CDM集群是否支持升级操作? CDM迁移性能如何? CDM不同集群规格对应并发的作业数是多少? 是否支持增量迁移? 是否支持字段转换?
请选择和维度表、事实表相同的数据连接类型。 *数据连接 数据集市建议使用统一的数据连接。 *数据库 选择数据库。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 表类型 DLI模型的表支持以下表类型: Managed:数据存储位置为DLI的表。
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
制。 承诺时间 设置该基线任务运行结束的承诺时间。 基线上的任务承诺最晚完成时间(需要保障的数据最晚产出时间),基线将根据该时间来推算预警时间,承诺时间需要基于预计完成时间来配置。保证承诺时间 - 预警余量时间晚于基线任务的预计完成时间。 说明: 基线预警时间=承诺时间-预警余量,如果实际完成时间晚于承诺时间
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
DataArts Studio是否支持修改时区? 问题描述 DataArts Studio是否支持修改时区,如果不支持应该如何处理。 解决方案 DataArts Studio实例暂不支持修改时区。 数据开发作业调度时可通过EL表达式适配当地时间,例如: #{DateUtil.format(DateUtil
单击作业画布右侧“调度配置”页签,进入调度配置页面。 调度方式选择“周期调度”,调度周期选择“月”,选择时间为“每月最后一天”,如下图所示。 图4 调度时间为每月最后一天 调度时间配置好之后,在每个月的最后一天,所配置的作业会按照调度时间去自动运行。 父主题: 数据开发进阶实践
参见配置SAP HANA源端参数。 云数据库 PostgreSQL 云数据库 SQL Server Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。
单击作业画布右侧“调度配置”页签,进入调度配置页面。 调度方式选择“周期调度”,调度周期选择“月”,选择时间为“每月最后一天”,如下图所示。 图4 调度时间为每月最后一天 调度时间配置好之后,在每个月的最后一天,所配置的作业会按照调度时间去自动运行。 父主题: 使用教程
表/文件/整库迁移 支持批量迁移表或者文件,还支持同构/异构数据库之间整库迁移,一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移,以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当CDM
总览”,单击并进入“资产报告”页面。 首次进入“资产报告”页面,需要配置资产报告任务。单击右上方的配置图标,弹出配置窗口。 依次选择生效时间、调度周期和调度具体时间,系统将按配置的时间调度运行资产报告任务,更新资产报告内容。 图2 配置资产报告任务 系统调度运行资产报告任务后,重新进入“资产报告”页
yyyy:表示4位的年份,取值为计划时间的年份。 yy:表示2位的年份,取值为计划时间的年份后两位。 mm:表示月份,取值为计划时间的月份。 dd:表示天,取值为计划时间的天。 hh:表示12小时制,取值为计划时间的小时。 hh24:表示24小时制,取值为计划时间的小时。 mi:表示分钟,取值为计划时间的分钟。
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 可能原因 可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。 解决方案 建议您通过以下措施解决此问题: 检查CDM集群是否被关机。 是,将CDM集群开机后,确认管理中心的数据连接恢复正常。
件表达式。通过表达式来判断,是否执行后续的业务节点。 图2 设置条件表达式 表达式配置方法如下所示。 #{DateUtil.getMonth(Job.planTime) == 6 ? "true" : "false"} 表达式的含义是:获取当前的时间点,判断是不是6月,如果是,则