检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark.sql.mergeSmallFiles.enabled（启用合并小文件功能，可以通过将小文件合并成较大的文件来提高性能，可以减少处理许多小文件的时间，并通过减少需要从远程存储中读取的文件数量来提高数据本地性。） 如果不使用的话，可以手动配置相关参数进行关闭，参数值设置为false。
符、下划线或中划线，且长度为1-32个字符。 type 是 String 资源类型，包含： archive file jar location 是 String 资源文件所在OBS路径，当类型为jar时，location为主Jar包所在路径。最多256个字符。示例：obs://myBucket/test
com/object-key 列表文件 选择“是”，将待上传的文本文件中所有URL对应的文件拉取到OBS，文本文件记录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中，这里需要选择已建立的OBS连接。 obs_link 列表文件OBS桶 存储文本文件的OBS桶名称。 obs-cdm
SDK的“jar”文件。 选择“java-sdk-demo”，单击鼠标右键，选择“Build Path > Add External Archives”。 图6 导入jar文件 选择SDK中“\libs”目录下所有以“jar”结尾的文件，单击“打开”。 图7 选择jar文件 新建“Package”及“Main”文件。
String 登录CloudTable集群的访问标识。建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 linkConfig.securityKey 是 String 登录CloudTable集群的密钥。建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 父主题： 连接参数说明
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明：
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 数据集成（CDM作业）
场景说明 数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可以将SQL语句转换为MapReduce任务进行运行。 环境准备 已开通MapReduce
问题描述 CDM是否支持增量迁移？ 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移： 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题： 数据集成（CDM作业）
数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell和Python脚本都是发往
Redis连接参数说明 Redis连接适用于用户在本地数据中心或ECS上自建的Redis，适用于将数据库或文件中的数据加载到Redis。 Redis连接不支持SSL加密的Redis数据源。 连接本地Redis数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作
新增访问密钥”，如图5所示。 图5 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明：
单击“文件 > 另存为”，在弹出的对话框中，“保存类型”选择为“所有文件(*.*)”，在“文件名”处输入文件名和.csv后缀，选择“UTF-8”编码格式（不能带BOM），则能以CSV格式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台，选择“存储 > 对象存储服务 OBS”，进入OBS控制台。
如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶，不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts S
Studio控制台，单击相应工作空间后的“数据集成”。 在“集群管理”页面，单击所创建集群操作列“作业管理”，进入“作业管理”页面。 在表/文件迁移页签中，单击新建作业，创建数据迁移作业。 配置DWS源端作业参数、MRS Hive目的端作业参数，参数说明请参见配置DWS源端参数、配置MRS
txt”，内容为一段英文单词。 操作步骤： 将脚本和数据文件传入OBS桶中，如下图。 图1 上传文件至OBS桶 本例中，wordcount.py和in.txt文件上传路径为：obs://obs-tongji/python/ 创建一个数据开发模块空作业，作业名称为“job_MRS_Spark_Python”。
OBSUtil内嵌对象提供了一系列针对OBS的操作方法，例如判断OBS文件或目录是否存在。 方法 表1 方法说明 方法 说明 示例 boolean isExistOBSPath(String obsPath) 判断OBS文件或目录（目录请以“/”结尾）是否存在，存在返回true，不存在返回false。
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明：
在管理中心页面，单击“资源迁移”，进入资源迁移页面。 图1 资源迁移 单击“新建导出”，配置文件的OBS存储位置和文件名称。 图2 选择导出文件 单击“下一步”，勾选导出的模块。 图3 勾选导出的模块 单击“下一步”，等待导出完成，资源包导出到所设置的OBS存储位置。 图4 导出完成 导出资源耗时1分钟仍未显示结果则
路径，CDM会将文件写入到该路径下。 文件格式：与源端一样，选择“二进制格式”，原始文件自身的格式不会改变。 重复文件处理方式：这里选择“跳过重复文件”。只有当源端和目的端存在文件名、文件大小都相同的文件时，CDM才会判定该文件为重复文件，这时CDM将跳过该文件，不迁移到OBS。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
