检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移,以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 字段转换
在Manager页面选择“系统 > 权限 > 安全策略 > 密码策略”,单击“新增密码策略”,添加一个永不过期的密码策略。 “密码策略名”可配置为“neverexp”。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在Manager页面选择“系统
String 时间过滤左边界,与end_time一起使用,只支持时间范围过滤,单边过滤无效。格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界,与
复合指标 复合指标是由一个或多个衍生指标叠加计算而成,其中的维度、时间周期均继承于衍生指标。注意,不能脱离衍生指标、维度和时间周期的范围,去产生新的维度和时间周期。 由于衍生指标只是针对某业务活动某段时间的数据量统计,无法满足贴近用户实际使用的业务增长率、差值计算等数据的比对需求
传统周期调度依赖,只支持同周期或者大周期依赖于小周期,不支持小周期依赖于大周期。详细说明如下: 同周期依赖,依赖时间段范围为从当前批次时间往前推一个周期。 跨周期依赖,依赖时间段范围为上一个周期时间段内。 图1 传统周期作业依赖关系全景图 自然周期调度依赖,支持同周期、跨周期(大周期依赖于小周期
不配置时导出整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。 配置样例: 假设数据库表中存在表示时间的列DS,类型为“varchar(30)”,插入的时间格式类似于“2017-xx-xx”,如图1所示,参数配置如下:
不配置时导出整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。 配置样例: 假设数据库表中存在表示时间的列DS,类型为“varchar(30)”,插入的时间格式类似于“2017-xx-xx”,如图1所示,参数配置如下:
SQL和Impala SQL脚本可以查看右侧的数据表,单击表名前面的单选框,可以查看该数据的列名、字段类型和描述。 支持通过“责任人”和“更新时间”进行过滤查询,方便快速过滤出最近更新的脚本。 脚本开发支持细粒度权限管控,在数据安全模块对数据开发脚本目录权限管控策略进行配置。 脚本开发的使用流程如下:
String 排序字段 CLUSTER_NAME 按照集群名称排序 CREATE_TIME 按照创建时间排序 UPDATE_TIME 按照更新时间排序 SYNC_TIME 按照同步时间排序 order_by_asc 否 Boolean 是否升序(仅指定排序参数时有效)。 请求参数 表3
制。 承诺时间 设置该基线任务运行结束的承诺时间。 基线上的任务承诺最晚完成时间(需要保障的数据最晚产出时间),基线将根据该时间来推算预警时间,承诺时间需要基于预计完成时间来配置。保证承诺时间 - 预警余量时间晚于基线任务的预计完成时间。 说明: 基线预警时间=承诺时间-预警余量,如果实际完成时间晚于承诺时间
待注册API服务所在的Host,不能以http://或https://开头,并且不包含Path。 后端服务PATH 待注册API服务所在的Path,Path中支持参数,参数要放在{}中,如/user/{userid}。 后端超时(ms) 设置后端超时时间。 后端服务参数 请求参数位置支持Pat
说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期 仅周期调度才显示。周期调度的生效时间。 后N个实例
中的维度、时间周期均继承于衍生指标。 时间周期用于确定需要统计的时间范围。例如,一个自然日,最近一年等。 创建指标的详细信息如下: 创建原子指标,详情请参见原子指标。 创建衍生指标,详情请参见衍生指标。 创建复合指标,详情请参见复合指标。 创建时间周期,详情请参见时间周期。 父主题:
最新:从Kafka Topic最新偏移量开始消费数据。 起止时间:根据时间获取Kafka Topic对应的偏移量,并从该偏移量开始消费数据。 时间 起止时间需要设置该参数,指示同步起始的时间位点。 说明: 配置的位点时间早于Kafka消息最早偏移量时,默认会从最早偏移量开始消费。
说明 同步模式 增量同步:从指定时间位点开始同步增量数据。 全量+增量:先同步全量数据,随后实时同步增量数据。 时间 增量同步需要设置该参数,指示增量同步起始的时间位点。 说明: 配置的位点时间早于Binlog日志最早时间点时,默认会以日志最新时间点开始消费。 监控作业。 通过单
业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。
说明 同步模式 增量同步:从指定时间位点开始同步增量数据。 全量+增量:先同步全量数据,随后实时同步增量数据。 时间 增量同步需要设置该参数,指示增量同步起始的时间位点。 说明: 配置的位点时间早于Binlog日志最早时间点时,默认会以日志最新时间点开始消费。 监控作业。 通过单
配置作业调度为年调度 场景描述 在配置作业配置调度时,可以选择一年中的某个时间进行调度。如果您需要配置作业的调度时间为年调度,请参考下面的方法进行配置。 配置方法 在DataArts Studio中配置一个按月调度执行的作业,然后在作业里面新增一个Dummy节点(空节点,不处理实
String 时间过滤左边界,与end_time一起使用,只支持时间范围过滤,单边过滤无效。格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界,与
Studio作业同时调度同一个CDM任务节点,导致两个作业的事务id冲突报错。 解决方案 调整DataArts Studio作业调度时间,保证同一时间只保留一个调度任务。 父主题: 数据开发