检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
user_9,user_00 到 user_99 的表。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 高级属性 Where子句
脚本内容,最大支持64KB。 directory 否 String 脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName 否 String 脚
表达式:StringUtils.contains(value,"a") 如果字符串中包含指定字符串的任一字符,则返回布尔值true,否则返回false。例如“zzabyycdxx”中包含“z”或“a”任意一个,则返回true。 表达式:StringUtils.containsAny(value,"za")
脚本内容,最大支持4M。 directory 否 String 脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName 否 String 脚
分 day_of_month 否 String 每个月的哪几天可以补数据,如每月1号,3号,表示:1,3 表5 SupplementDataInstanceTime参数说明 参数名 是否必选 参数类型 说明 days 否 array[string] 支持离散的天 time_of_day
"The supplement [P_job_1000_20230821_1540182] does not exist." } 父主题: 作业开发API
务需求,对不同的DDL消息设置同步至目标端的处理策略。 实时同步任务运维 支持对同步任务设置监控报警。 基本特性 实时处理集成作业为大数据开发提供了支撑,具有以下特性: 实时性:支持数据秒级迁移。 可靠性:通过异常恢复,重试等机制确保数据的一致性和准确性。 多样性: 数据源多样性
脏数据阈值会针对每个并发生效。比如阈值为100,并发为3,则该作业可容忍的脏数据条数为300。 输入-1表示不限制脏数据条数。 100 提交任务。 作业配置完毕后,单击作业开发页面左上角“提交”,完成作业提交。 图6 提交作业 自动建表。 以目的端为Hudi会触发自动建表为例。 图7 自动建表 用户提交作业后,单
"jobInstanceId": 0, "LastInstanceStatus": "waiting", "name": "MRS_Flink_Job_8635", "speed":
细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 说明: 表名支持配置通配符(*),实现
0”怎么办? PostgreSQL数据源如何手动删除复制槽? Oracle数据源如何开通归档日志、查询权限和日志解析权限? 父主题: 实时处理集成作业开发
配置MongoDB源端参数 配置RestApi源端参数 配置GBase源端参数 配置Redis源端参数 配置LTS源端参数 父主题: 离线处理集成作业开发
Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中选择需要查看的作业,右键单击作业名称,选择“查看作业依赖关系图”,界面弹出“作业依赖关系视图”页面。
"error_code":"DLF.0100", "error_msg":"The job does not exists." } 父主题: 作业开发API
0100", "error_msg":"The job does not exists." } 状态码 状态码请参见状态码。 父主题: 作业开发API
"error_msg":"The script does not exist." } 状态码 状态码请参见状态码。 父主题: 脚本开发API
在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 新建集成作业的方式有如下两种: 方式一:在“作业开发”界面中,单击“新建集成作业”。 图1 新建集成作业(方式一) 方
Studio控制台,找到所需要的DataArts Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。 单击第一个工作空间A的“数据开发”,系统跳转至数据开发页面,新建数据开发作业job1。分别选择Dummy节点和DIS Client节点,选中连线图标并拖动,编排如图2所示的作业。 Dummy
细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 table 高级属性 查询筛选 创建用于匹配文档的筛选器。
细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 是 index_sample 类型 类