检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
action行为、表类型等。 支持对数据的软删除。 约束限制 对于同一张Hudi表，必须确保同一时间段只有一个集成作业在写入，否则会有Hudi的数据写入冲突，导致作业失败。 源端MySql需要配置最小权限：SELECT, SHOW DATABASES, REPLICATION SLAVE
批写最大数据量：根据表数据大小和作业内存使用，适当调整，数据范围1-10000000。 定时批写时间间隔：数据定时入库的间隔时间，时间1-1000， 单位为秒。 高级配置：通过设置以下参数配置数据写入的高级属性。 sink.buffer-flush.max-size：根据作业配置内存和数据大小设置批写最大内存，单位:Mb。
[xxxx] is invalid。 可能原因 存在多个DataArts Studio作业同时调度同一个CDM任务节点，导致两个作业的事务id冲突报错。 解决方案 调整DataArts Studio作业调度时间，保证同一时间只保留一个调度任务。 父主题： 数据开发
able），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。 说明： STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在
DB数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 PostgreSQL/SQLServer连接参数
重新修改发布。 生产任务运维权限管控差异 开发人员可直接编辑生产任务的脚本和作业。 开发人员只能在数据开发界面编辑代码并且提交，但是不能将代码直接发布到生产环境，发布生产的操作需要有运维权限（部署者、管理员、运维者这几类角色拥有此权限）。 所有脚本和作业仅支持在开发环境编辑，无法修改生产环境的代码。
管理单个CDM作业 已存在的CDM作业支持查看、修改、删除、启动、停止等操作，这里主要介绍作业的查看和修改。 查看 查看作业状态 作业状态有New，Pending，Booting，Running，Failed，Succeeded，stopped。 其中“Pending”表示正在等
导入脚本成功 导入作业 单击脚本目录树上方的，切换到作业界面。 单击作业目录中的，选择“导入作业”。 图17 选择导入作业 在弹出的导入作业窗口中，“文件位置”选择为“本地”，选择从旧空间导出的作业文件，单击下一步。 图18 导入作业 作业开始导入，导入成功后系统会显示导入的作业名。 图19
"description" : "数据监控责任人", "required" : false, "searchable" : false, "actived" : false, "label" : "数据监控责任人", "disabled"
H公司是国内一家收集主要贸易国贸易统计及买家数据的商业机构，拥有大量的贸易统计数据库，其数据广泛应用于产业研究、行业研究、国际贸易促进等方面。 在这之前，H公司采用其自建的大数据集群，并安排专人维护，每年固定购买电信联通双线专用带宽，在机房、电力、专网、服务器、运维方面进行高额投入，
DDS连接适用于华为云上的文档数据库服务，常用于从DDS同步数据到大数据平台。 连接云服务DDS时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 DDS连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据
打开一个已创建好的作业，从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后，选择“前往监控”页面监控作业的运行情况。 配置作业参数 作业参数中支持定义变量和常量，作业参数的作用范围为当前作业。 变量是指不同的作业下取值不同，需要重新配置值。
数据血缘在数据目录中展示，首先要完成元数据采集任务，其次数据开发作业中要包含支持自动血缘解析的节点类型和场景，或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时，系统会生成作业中的血缘关系，并在数据目录中进行可视化展示。 数据血缘的生成和展示，详情请参见节点数据血缘。
Boolean 当选择自动创建目的表时，如果选择使用非空约束，则目的表字段的是否非空约束，与原表具有相应非空约束的字段保持一致。 父主题： 目的端作业参数说明
MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？ 问题描述 1. 运行migration mysql2dws链路的实时同步作业，DDL同步中对增加列操作设置为“正常处理”。 2. 在目的端DWS表有数据的场景下，源端MySQL执行DDL语句，添加带非空约束的列，默认值为空字符串，如：
CloudTable连接参数说明 连接CloudTable时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 CloudTable连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接
如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。
口获取Token，然后通过Token进行安全认证。 本章节以Postman工具为例，为您介绍如何使用API工具调用IAM认证方式的API，主要包含如下几步： 获取API信息：准备API关键信息，用于API调用。 获取Token：调用IAM服务的获取用户Token接口获取Token。
单击“提交”，进入质量作业列表页面。 图5 质量作业列表 在CountingRows作业操作列，单击“运行”，生成作业对应的实例。 单击“运维管理”，进入作业实例列表界面，找到对应的作业实例。待实例运行完成后，单击“结果&日志”，在“运行结果”页签，可查看该质量作业的运行结果，即待统计表的总行数。
单击，将脚本的名称设置为“generate_trade_report”。 新建和开发作业。 在数据开发模块控制台的左侧导航栏，进入“数据开发 > 作业开发”，选择“新建作业”，新建一个名称为“job”的空作业。 进入作业开发页面，将DLI SQL节点拖至画布中，单击其图标并配置“节点属性”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
