检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data，统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value value object value，统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 total Integer 总量。 records Array of BizCatalogVO objects
子对父:CCONE@CC 父对子:CCONE@CC .\r\n字段映射:\r\n子表字段:CCid@CC 父表字段:CCid@CC .", "sql_ddl" : "ALTER TABLE ${database}.test_l2_2 ADD add_column DOUBLE;"
0”，即数组下标必须从1开始，a[1]表示数组中的第一个元素。 查看该CDM实时作业：配置源端为Kafka，目的端为DLI字段映射，赋值来源为“源表字段”，赋值框使用kafka消息中的嵌套json数组写入方式为a[0]。由于在字段映射使用源表字段对目标列进行赋值时，数组下标必须从
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查？ 网络打通 数据源安全组放通哪些端口可满足Migration访问？ Hudi 如何配置Hudi Compaction的Spark周期任务？ DWS MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？
提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、SQL、Shell等多种任务类型，通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。 资源管理 支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。 作业调度 支持单次调度、周期调度和事件驱动调度，周期调
配置数据源信息，参考表2。 表2 数据源信息参数说明 参数名 说明 数据连接类型 从下拉列表中选择数据连接类型。 说明： 元数据采集支持丰富的数据源类型，对于DWS、DLI、MRS HBase、MRS Hive、RDS和ORACLE类型的数据源，首先需要在管理中心创建数据连接。如需采集其他数据源
data_type String 字段类型。 domain_type String 字段类型所属域。 枚举值： NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend
个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，CSS，HIVE，CUSTOM和DLI类型。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。
Cause : 将截断字符串或二进制数据。 原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方案 在SQL Server数据库中建表时，将数据库字段改大，长度不能小于源端OBS中的数据长度。 父主题： 数据集成（CDM作业）
目标字段编辑 Migration会根据选择的源端消息格式自动解析源端消息，生成对应的字段信息，用户可在此基础上进行编辑，自定义字段名、选择字段类型、填写字段值。 字段名称：目的端OBS文件中写入字段的名称。字段名称至少包含一个字母，允许下划线、中划线，不支持纯数字。 字段类型：
Hive、DWS、DLI和RDS MySQL数据源。 数据集成（离线作业）的表敏感数据检测对表内容格式要求如下： 表字段数量至多为500。 对于字符串类型的表字段，仅会检测前1000个字符的敏感信息，超过1000字符部分会被截断。 识别规则仅支持规则类型为正则表达式的内置规则或自定义规则，识别规则至多可以配置50条。
查看表 对于关系建模中的表，您可以查看模型视图、表详情、关系图、预览SQL以及发布历史。 查看模型视图 当您在关系模型中完成表的新建后，就可以通过列表视图和模型视图两种形式查看表模型。关系模型页面默认显示为列表视图，您可以切换为模型视图进行查看。 在DataArts Studio
CSV格式 JSON类型 文件格式为JSON格式时支持此参数。 JSON文件中存储的JSON对象的类型，可以选择JSON对象或JSON数组。 JSON对象 记录节点 文件类型为JSON对象时支持此参数。 记录数据的根节点。该节点对应的数据为JSON数组，系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“
data_type String 字段类型。 domain_type String 字段类型所属域。 枚举值： NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend
驱动程序名称 是 驱动程序名称： com.mysql.jdbc.Driver：连接RDS for MySQL或MySQL数据源时，选择此驱动程序名称。 org.postgresql.Driver：连接RDS for PostgreSQL或PostgreSQL数据源时，选择此驱动程序名称。 com
数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_by 否 String 创建人。
参数值。 字段名 仅用于异常表。配置字段名称用于异常表数据。 示例：column1,column2,column3 失败策略 选择是否勾选“忽略规则错误”。 选择字段 当“规则类型”选择“字段级规则”，需要配置该参数。此处选择对应数据表中的字段。 说明： 数据质量字段级别校验不支持对字段名为单个字母（例如：a
data 参数 参数类型 描述 value value object 返回的数据信息。 表6 value 参数 参数类型 描述 records Array of PublishVersionVO objects 查询到的版本值对象（PublishVersionVO）数组。 total Integer
不限制。 16 源端Hive包含array和map类型时，目的端表格式只支持ORC和parquet复杂类型。若目的端表格式为RC和TEXT时，会对源数据进行处理，支持成功写入。 因map类型为无序的数据结构，迁移到目的端的数据类型可能跟源端顺序不一致。 Hive作为迁移的目的时，
服务。 目前支持的数据库链路有： 自建/他云MySQL->RDS for MySQL 自建/他云PostgreSQL->RDS for PostgreSQL 自建/他云MongoDB->DDS Oracle->RDS for MySQL ...... DRS与CDM的区别： DR
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
