检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用''包围表达式 方式二：源字段中新增自定义字段，在样值中填写时间宏变量，重新进行字段映射处理。 图3 源字段新增自定义字段 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。
源组VPC网段的路由。 为实时网络连接（对等连接）添加数据源网段路由。 单击步骤7所创建实时网络连接的“路由信息”，单击“添加路由”，输入本地IDC自建数据库的私有网络地址。 图4 添加路由1 图5 添加路由2 （可选）MRS类型数据源还需要进行以下操作打通网络。 实时网络连接创建完成并绑定资源组后，单击右侧“更多
在的网络一致。 CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MRS HDFS。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。 创建MRS HDFS连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理
于等于128个字符。 描述 否 脚本的描述信息。 选择目录 是 选择脚本所属的目录，默认为根目录。 如果脚本未保存，重新打开脚本时，可以从本地缓存中恢复脚本内容。 脚本保存后，在右侧的版本里面，会自动生成一个保存版本，支持版本回滚。保存版本时，一分钟内多次保存只记录一次版本。对于
资源组VPC网段的路由。 实时网络连接（对等连接）添加数据源网段路由。 单击步骤4所创建实时网络连接的“路由信息”，单击“添加路由”，输入本地IDC自建数据库的私有网络地址（例如192.168.0.0/24）。 图6 添加路由1 图7 添加路由2 （可选）MRS类型数据源还需要进行以下操作打通网络。
资源组VPC网段的路由。 实时网络连接（对等连接）添加数据源网段路由。 单击步骤4所创建实时网络连接的“路由信息”，单击“添加路由”，输入本地IDC自建数据库的私有网络地址（例如192.168.0.0/24）。 图6 添加路由1 图7 添加路由2 （可选）MRS类型数据源还需要进行以下操作打通网络。
如果需要更新驱动文件，则需要先在数据集成页面重启CDM集群，然后通过编辑数据连接的方式重新选择新版本驱动，更新驱动才能生效。 驱动文件 是 “驱动文件来源”选择“本地文件”时配置。 驱动文件请根据驱动类型去相关官网上下载，并在选择弹窗中上传驱动，或在该弹窗中指定已上传的驱动文件。 数据源认证及其他功能配置
由于质量报告数据量较大，单个导出文件字段条数最多为2000条，因此OBS桶里或许会有多个导出文件。 导出的报告仅限当前工作空间内。 若使用局点没有OBS服务，系统默认导出到本地。 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 选择“数据质量监控 > 质量报告”。
MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。 是 使用Agent Agent功能待下线，无需配置。
切换到“导出记录”页签，可查看当前任务的导出结果。 图6 导出记录 在导出文件列表中，单击最新导出文件对应的“下载”，可将质量作业的Excel表格下载到本地。 导出全部质量作业 系统支持导出全部质量作业。导出作业时，导出的单元格内容最大长度支持65534个字符。 选择“数据质量监控 > 质量作业”，单击“全部导出”。
开启“公网入口”，创建集群时会为集群自动绑定一个新建的弹性公网IP，后续可以通过此公网IP地址调用专享版API。该功能新建的弹性公网IP不会计入收费项。 如果您存在需要本地调用或跨网调用API的使用场景，建议开启。如果在创建集群时未开启公网入口，后续则不再支持绑定EIP。 带宽大小 可配置公网带宽范围。 虚拟私有云
enabled（启用合并小文件功能，可以通过将小文件合并成较大的文件来提高性能，可以减少处理许多小文件的时间，并通过减少需要从远程存储中读取的文件数量来提高数据本地性。） 如果不使用的话，可以手动配置相关参数进行关闭，参数值设置为false。 DWS SQL属性 数据连接 选择数据连接。 数据库 选择数据库。
MySQL > Kafka高级参数一览表 参数名 参数类型 默认值 单位 参数说明 ource.server.timezone string 本地时区 - 连接源端数据库时指定的session时区，支持时区标准写法，例如utc+8等。 source.convert.timestampWithServerTimeZone
update-user String 最后更新作业的用户。由系统生成，用户无需填写。 external_id String 具体执行的作业id，如果是本地作业，则一般为"job_local1202051771_0002"形式，如果是DLI作业，则为DLI作业ID，比如"12345"。由系统生成，用户无需填写。
开启本开关后，若源端与目的端列数不同将认为是数据不一致的场景，导致作业异常。 sink.server.timezone string 本地时区 - 连接目的端数据库时指定的session时区，支持时区标准写法，例如utc+8等。 刷新源表和目标表映射，检查映射关系是否正确，同
单击“导出”，弹出“导出对账作业”对话框。 单击“导出”，切换到“导出记录”页签。 在导出文件列表中，单击最新导出文件对应的“下载”，可将对账作业的Excel表格下载到本地。 导入对账作业 系统支持批量导入对账作业，一次最大可导入4M数据的文件。导入作业时，导出的单元格内容最大长度支持65534个字符。 选择“数据质量监控
开启本开关后，若源端与目的端列数不同将认为是数据不一致的场景，导致作业异常。 sink.server.timezone string 本地时区 - 连接目的端数据库时指定的session时区，支持时区标准写法，例如utc+8等。 刷新源表和目标表映射，检查映射关系是否正确，同
ZONE TIMESTAMP WITH LOCAL TIME ZONE 用于存储一个本地时区的 TIMESTAMP 值，能够将标准时区类型 TIMESTAMP WITH TIME ZONE 类型转化为本地时区类型。 2002-12-12 09:10:21 +8:00'，'2002-12-12
开启本开关后，若源端与目的端列数不同将认为是数据不一致的场景，导致作业异常。 sink.server.timezone string 本地时区 - 连接目的端数据库时指定的session时区，支持时区标准写法，例如utc+8等。 刷新源表和目标表映射，检查映射关系是否正确，同
update-user 否 String 最后更新作业的用户。由系统生成，用户无需填写。 external_id 否 String 具体执行的作业id，如果是本地作业，则一般为"job_local1202051771_0002"形式，如果是DLI作业，则为DLI作业ID，比如"12345"。由系统生成，用户无需填写。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
