检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 OBS路径 是 删除OBS桶或目录的路径。 说明： 删除的文件将无法恢复，如需保留文件，请在删除前备份该桶下的数据。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点
需要重新发布码表，才能使更新后的表生效。 在导入码表时，只有创建或更新操作，不会删除已有的码表。 *上传模板 选择所需导入的码表文件。所需导入的码表文件，可以通过以下两种方式获得。 下载码表模板并填写模板 在“导入配置”页签内，单击“下载码表导入模板”下载模板，然后根据业务需求填
spark.sql.mergeSmallFiles.enabled（启用合并小文件功能，可以通过将小文件合并成较大的文件来提高性能，可以减少处理许多小文件的时间，并通过减少需要从远程存储中读取的文件数量来提高数据本地性。） 如果不使用的话，可以手动配置相关参数进行关闭，参数值设置为false。
需要先将样例数据存储为CSV文件，将CSV文件上传至OBS服务中。 创建CSV文件（UTF-8无bom格式），文件名称为对应的数据表名，将后文提供的各样例数据分别复制粘贴到不同CSV文件中，然后保存CSV文件。 以下是Windows下生成.csv文件的办法之一： 使用文本编辑工具
<snapshotDir> [s0] hdfs dfs -createSnapshot test CDM通过HDFS Snapshot复制文件至MRS。CDM的作业配置： “源目录或文件”输入：/hbase/data/default/src_test/.snapshot/s0 目的端“写入目录”输入：
String 资源文件所在OBS路径，当类型为jar时，location为主Jar包所在路径。最多256个字符。示例：obs://myBucket/test.jar dependFiles 否 List<String> 主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。
huawei.opengauss.jdbc.Driver：连接GaussDB数据源时，选择此驱动程序名称。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动：获取地址https://downloads
数据集成提供同构/异构数据源之间批量数据迁移的服务，支持自建和云上的文件系统，以及关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成 支持的数据源 创建CDM集群 创建CDM与数据源之间的连接 新建表/文件迁移作业 数据目录（元数据采集） 为了在DataArts
有 log_flag Boolean 是否开启日志记录。 path String API的访问路径。 host String 共享版域名。 hosts InstanceHostDTO object 专享版域名。 request_type String 请求类型。 枚举值： REQ
查询的系统任务不存在。 请检查系统任务。 400 DLF.0815 The OBS file fails to be accessed. 读取OBS文件失败。 请检查OBS文件。 400 DLF.1006 The job node is empty. 作业的节点为空。 请检查节点。 400 DLF.1242
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。
新增访问密钥”，如图3所示。 图3 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明：
数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随着云计算技术的发展，用户数据可能存在于各种环境中，例如公有云、自建/托管IDC、混合场景等。在异
编辑工作空间用户 User updateWorkspaceUser 删除工作空间用户 User deleteWorkspaceUser 下载文件 Config downloadFile 创建导入导出任务 Config createObsImportOrExportTask 父主题：
NDALONE”时，该参数有效。 如果HDFS配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。 10.1.6.9 hostname01 10.2.7.9 hostname02 Agent Agent功能待下线，无需配置。
选择Hive表清理数据模式。 LOAD_OVERWRITE模式：将生成一个临时数据文件目录，使用Hive的load overwrite语法将临时目录加载到Hive表中。 TRUCATE模式：只清理分区下的数据文件，不删除分区。 说明： 目的端为分区表时，Hive表清理数据模式建议设置为L
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支
选择子网和弹性IP，如果没有弹性IP，需要先申请一个。 完成之后，就可以到CDM控制台，通过Internet迁移公网的数据上云了。例如：迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题： 数据集成（CDM作业）
料链接，按照相应指导获取驱动文件。 在“驱动管理”页面中，选择以下方式上传MySQL驱动。 方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。 方式二：单击对应驱动名称右侧操作列的“从sftp复制”，配置sftp连接器名称和驱动文件路径。 在“集群管理”界面，单击集群后的“作业管理”，选择“连接管理
在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 在脚本目录中选择需要重命名的脚本，右键单击脚本名称，选择“重命名”。 图2 重命名 已经打开了的脚本文件不支持重命名。 在弹出的“重命名脚本名称”页面，配置新脚本名称。 图3 重命名脚本名称 单击“确定”，重命名脚本。 父主题： （可选）管理脚本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
