检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。
spark.sql.mergeSmallFiles.enabled（启用合并小文件功能，可以通过将小文件合并成较大的文件来提高性能，可以减少处理许多小文件的时间，并通过减少需要从远程存储中读取的文件数量来提高数据本地性。） 如果不使用的话，可以手动配置相关参数进行关闭，参数值设置为false。
主题信息。 您可以下载系统提供的主题设计模板，在模板文件中填写主题的相关参数后，使用模板批量导入主题信息。 您可以预先将某个DataArts Studio实例的数据架构中已建立的主题设计信息导出到Excel文件中。导出后的文件可用于导入。 建立好主题设计信息后，可以对主题信息进行查找、编辑或删除操作。
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业 父主题： 数据集成（CDM作业）
Hudi建表配置 Location 存储在OBS或HDFS上数据库表的文件路径。 - Hudi表类型 Hudi表存储类型。 MOR表：数据先写入avro格式的日志文件，读取时合并到parquet文件。 COW表：数据直接写入parquet文件。 MOR Hudi表主键 对Hudi建表设置主键，多个值以逗号隔开。
基础与网络连通配置 IP 是 填写ClickHouseServer所在节点IP。 端口 是 默认使用ClickHouseServer的配置参数http_port，用于接收JDBC请求的端口。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中已创建的密钥。 绑定Agent
导入包含API信息的EXCEL文件 导入包含API信息的EXCEL文件。 2400 120 导出包含API信息的EXCEL文件 导出包含API信息的EXCEL文件。 2400 120 全量导出包含API的EXCEL压缩文件 全量导出包含API的EXCEL压缩文件。 2400 120 下载EXCEL模板
作业开发API 创建作业 修改作业 查询作业列表 查询作业详情 查询作业文件 导出作业 批量导出作业 导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题： 数据开发API（V1）
关闭异步compaction clean.async.enabled false 清理历史版本数据文件 hoodie.archive.automatic false Hudi commit文件老化的开关 图1 关闭Migration compaction任务 如上配置项配置完成后，作业
支持OBS路径和DLI程序包两种类型的资源。 OBS路径：作业执行时，不会上传资源包文件到DLI资源管理，文件的OBS路径会作为启动作业消息体的一部分，推荐使用该方式。 DLI程序包：作业执行前，会将资源包文件上传到DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时，
覆盖：如果质量作业名称有重复，会覆盖现有同名作业。 如果选择覆盖，请在导入文件前，停止所有作业调度，否则调度中的作业会导致上传文件失败。 单击“上传文件”，选择准备好的数据文件。 可通过如下两种方式填写数据文件： (推荐使用) 通过“导出”功能，可将数据直接/或修改后批量导入系统。
application/json;charset=UTF-8 Authorization 否 String 使用AK/SK进行认证时该字段必选。 Host 否 String 使用AK/SK进行认证时该字段必选。 表3 Body参数说明 参数名 是否必选 参数类型 说明 name 是 String
存在。 手机号：用于审批及消息通知。 邮箱：用于审批及消息通知。 创建数据库连接的相关信息：包括用于创建数据库类型数据源所需的数据库IP、端口、用户名、密码和密钥对密码。 创建DIS以及对象存储类型连接的相关信息：包括用于创建DIS/对象存储类型数据连接所需的Access key、Secret
”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 OBS路径 是 删除OBS桶或目录的路径。 说明： 删除的文件将无法恢复，如需保留文件，请在删除前备份该桶下的数据。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点
具体的标准、规范、程序等。 数据安全管理制度文件可分为四个层面，一、二级文件作为上层的管理要求，应具备科学性、合理性、完备性及普适性。三、四级文件则是对上层管理要求的细化解读，用于指导具体业务场景的具体工作。 图2 数据安全管理制度文件 技术工具 数据安全技术体系并非单一产品或平
字段映射样例：源端配置使用SQL语句为是时不显示该参数，查看源端和目的端样例数据。 文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），没有字段映射这一步骤。 整库迁移没有配置字段映射关系这一步骤。
可以将离线或历史数据集成到云上。提供同构/异构数据源之间数据集成的服务，支持单表/文件迁移、整库迁移、增量集成，支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成 创建集群 新建数据迁移的源连接、目的连接 新建表/文件迁移作业 步骤4：元数据采集 为了在DataArts
spark.sql.mergeSmallFiles.enabled（启用合并小文件功能，可以通过将小文件合并成较大的文件来提高性能，可以减少处理许多小文件的时间，并通过减少需要从远程存储中读取的文件数量来提高数据本地性。） 如果不使用的话，可以手动配置相关参数进行关闭，参数值设置为false。
需要重新发布码表，才能使更新后的表生效。 在导入码表时，只有创建或更新操作，不会删除已有的码表。 *上传模板 选择所需导入的码表文件。所需导入的码表文件，可以通过以下两种方式获得。 下载码表模板并填写模板 在“导入配置”页签内，单击“下载码表导入模板”下载模板，然后根据业务需求填
* hadoop.proxyuser.数据连接上配置的用户名.hosts * hadoop.proxyuser.数据连接上配置的用户名.groups * hadoop.proxyuser.数据连接上配置的用户名.hosts * 图6 配置spark.core-site.customized
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
