检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SEQUENCEFILE, RCFILE, PARQUET, CARBON类型。 如果原始数据表存储格式不满足要求，您可以通过CDM将原始数据直接导入到DLI中进行分析，无需上传OBS。 数据说明 贸易详单数据 包括主要贸易国货物贸易统计数据。 表1 贸易详单数据 字段名称 字段类型 字段说明 hs_code
在导出窗口中单击“确认”导出全量API，单击确认即可以Excel文件的形式导出API。 图1 全量导出API 打开下载到本地的Excel文件，可以查看导出的API。不同类型的API会分别导出到文件页签中，单击下方页签可以切换查看并编辑。 图2 Excel文件样式 导出API 在DataArts Stu
CSV_FILE：CSV格式，用于迁移文件到数据表的场景。 JSON_FILE：JSON格式，一般都是用于迁移文件到数据表的场景。 BINARY_FILE：二进制格式，不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时，目的端也必须为文件系统。 fromJobConfig
待导入的资源应为通过导出获取的zip文件，导入时系统会进行资源校验。 由于安全原因，导出连接时没有导出连接密码，需要在导入时自行输入。 仅企业版支持数据目录（分类、标签、采集任务）导出，专家版暂不支持。 导入文件时，OBS和本地方式均限制文件大小不超过10MB。 旧空间导出资源
创建数据连接需要注意哪些事项？ RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS，则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。 数据连接中的数据湖认证信息如果发生变化（
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 说明：
请参考创建CDM集群进行创建。 数据集成配置 配置文件路径 是 “是否使用集群配置”参数开启时，呈现此参数。集群配置文件的OBS存放路径。 keytab文件路径 是 认证类型为KERBEROS时显示该参数。 配置keytab文件的OBS存放路径。 Principal名称 是 认证类型为KERBEROS时显示该参数。
0”转换为Long数值是“172915712”。 表达式：CommonUtils.ipToLong(value) 从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils
DM连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 数据集成（CDM作业）
large规格最大可达到约8TB每天（大文件迁移到OBS场景）。推荐用户在正式迁移前先用小数据量实测进行速度摸底。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文
Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口：1521 数据库连接类型 选择Oracle数据库连接类型：
配置CDM作业定时任务 在表/文件迁移的任务中，CDM支持定时执行作业，按重复周期分为：分钟、小时、天、周、月。 CDM在配置定时作业时，不要为大量任务设定相同的定时时间，应该错峰调度，避免出现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业，此处也配置了
问题描述 CDM是否支持增量迁移？ 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移： 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题： 数据集成（CDM作业）
Please contact ECS Service. 确认其ECS的sshd_config参数如下。 原因分析：由于ssh session超时断开了，因此Shell节点失败。 解决办法 编辑ECS的/etc/ssh/sshd_config文件，添加或者更新如下两个值。 ClientAliveInterval
spark.sql.mergeSmallFiles.enabled（启用合并小文件功能，可以通过将小文件合并成较大的文件来提高性能，可以减少处理许多小文件的时间，并通过减少需要从远程存储中读取的文件数量来提高数据本地性。） 如果不使用的话，可以手动配置相关参数进行关闭，参数值设置为false。
单击选中待移动的作业或作业文件夹，拖拽至需要移动的目标文件夹松开鼠标即可。 方式三：批量选中进行移动。 批量选择待移动的多个作业或作业文件夹，移动到目标文件夹下。 作业移动时，支持将作业移动到翻牌目录下。 移入翻牌目录的作业支持移出。 业务日期模式空间下，移动作业到翻牌目录时，系统会校
如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶，不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts S
导出脚本。导出完成后，即可通过浏览器下载地址，获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面，选择需要导出的脚本的状态，单击“确定”。 图2 导出脚本 导入脚本 导入脚本功能依赖于OBS服务，如无OBS服务，可从本地导入。 您可以在脚本目录中导入一个或多个脚本文件。导入会覆盖开发态的内容，并自动提交一个新版本。
401 Authorization not found. 签名信息未找到。 应用认证：SDK使用前准备步骤3。 发布到网关的专享版IAM认证：IAM认证的API发布到网关后，不支持直接访问集群的token认证形式。 401 Authorization format incorrect
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
