检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 高级属性 迁移行为 选择写入目的端的迁移方式。 新增：将文件记录直接插入指定的集合。 有则替换，无则新增：以指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录。如果不存在，则添加新记录。
支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS SQL 支持Insert into等DML操作产生的DWS表之间的血缘。 MRS Hive SQL 支持Insert
支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS SQL 支持Insert into等DML操作产生的DWS表之间的血缘。 MRS Hive SQL 支持Insert
position 63-64 : ordinal not in range ( 128 )”怎么处理？ 查看日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限。”怎么办？ Shell/Python节点执行失败，后台报错session is down 请求头
jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器（可选）。 如何获取驱动 不同类型的关系数据库，需要适配不同类型的驱动。注意，上传的驱动版本不必与待连接的数据库版本相匹配，直接参考表1获取建议版本的JDK8
huawei.opengauss.jdbc.Driver：连接GaussDB数据源时，选择此驱动程序名称。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动：获取地址https://downloads
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
最早：最小偏移量，即拉取最早的数据。 最新 APP名字 配置用户数据消费程序的唯一标识符，不存在时会自动创建。 cdm 数据格式 解析数据时使用的格式： 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 CSV格式：以CSV格式解析源数据。 JSON格式：以JSON格式解析源数据。 二进制格式 字段分隔符
数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell和Python脚本都是发往
您可以将表1数据保存在OBS的CSV文件中，然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件，然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流，DWS创建外表请参见创建外表。 您可以将表1数据保存在HDFS的CSV文件中，然后通过HIVE SQL
您可以将表1数据保存在OBS的CSV文件中，然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件，然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流，DWS创建外表请参见创建外表。 您可以将表1数据保存在HDFS的CSV文件中，然后通过HIVE SQL
jobType=NORMAL_JOB：表示查询表/文件迁移的作业。 jobType=BATCH_JOB：表示查询整库迁移的作业。 jobType=SCENARIO_JOB：表示查询场景迁移的作业。 不指定该参数时，默认只查询表/文件迁移的作业。 请求参数 表3 请求Header参数
果。 下载脚本历史运行结果。 系统默认支持所有用户都能下载脚本的历史运行结果。 您可以在结果页签单击“下载结果”。 支持将CSV格式的结果文件下载到本地。查询结果和下载结果最大支持1000条。 作业运行历史 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
resources 否 Array of longs 资源ID数组。 export_mode 否 String 导出模式，null表示导出到本地文件系统，obs表示导出至obs，仅限于导出质量报告使用。 obs_service_type 否 String 业务类型，technology
的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时，选择需要进行的插入行为操作。 新增：将文件记录直接插入指定的集合。 有则新增，无则替换：以指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录（找到多条匹配记录时，只
Studio控制台，单击相应工作空间后的“数据集成”。 在“集群管理”页面，单击所创建集群操作列“作业管理”，进入“作业管理”页面。 在表/文件迁移页签中，单击新建作业，创建数据迁移作业。 配置DWS源端作业参数、MRS Hive目的端作业参数，参数说明请参见配置DWS源端参数、配置MRS
数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell和Python脚本都是发往
源数据强调数据状态是“创建”之后的“原始状态”，也就是没有被加工处理的数据。在数据管理的过程中，源数据一般是指直接来自源文件（业务系统数据库、线下文件、IoT等）的数据，或者直接复制源文件的“副本数据”。 数据连接 定义访问数据实体存储（计算）空间所需的信息的集合，包括连接类型、名称和登录信息等。
1842”。 EveryMonth：每月一号零点零分创建新索引，新索引的命名格式为“索引名+年+月”，例如“index201812”。 从文件类抽取数据时，必须配置单个抽取（“抽取并发数”参数配置为1），否则该参数无效。 父主题： 目的端作业参数说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
