检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS数据连接参数说明 表1 对象存储服务（OBS）连接 参数 是否必选 说明 数据连接类型 是 OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下： 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口，以及AK、SK。
DMS Kafka到OBS参数调优 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max
开启数据服务集群OBS日志转储 功能介绍 开启数据服务集群OBS日志转储。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/service/instances/{instance_id}/obs-log-dump 表1 路径参数 参数 是否必选
不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
查看日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限。”怎么办？ 问题现象 查看数据开发的节点日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限”，如下图所示： 图1 提示信息 原因分析 数据开发的日志存储在OBS桶中，您所在
数据库部署在华为云 同Region同租户直接连通网络 同Region不同租户通过对等连接连通网络 同Region不同租户通过企业路由器连通网络 跨Region通过云连接连通网络 父主题： 网络打通
通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作，与CDM迁移近一个月的数据相同，都是使用二进制直接传输文件目录，2个集群并发执行作业。
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE
管理样本库 数据安全支持将您提供的OBS或HDFS样本文件生成样本库。当新建随机脱敏或字符替换类型的脱敏算法时，可以选择将敏感数据脱敏为样本库文件中的值。 本章主要介绍如何创建样本。 前提条件 已在OBS或HDFS中上传样本文件。样本文件只支持txt格式，大小建议不超过10MB，其中数据可通过换行“\n”、空格“
下，确认用户在IAM中的OBS权限是否具有对象存储服务（OBS）的全局权限，保证用户能够创建桶和操作桶。 解决方案 方式1：用户在对象存储OBS中创建以“dlf-log-{projectID}”命名的桶，并将操作权限赋予调度用户。 OBS路径仅支持OBS桶，不支持并行文件系统。
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶，不支持并行文件系统。 前提条件 修改工作空间的用户账号，需要满足如下任一条件：
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？ 问题描述 使用CDM从OBS导入数据到SQL Server时，作业运行失败，错误提示为：Unable to execute the SQL statement
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 数据集成（CDM作业）
驱动管理”，进入驱动管理页面上传驱动。 图1 上传驱动 方式一：单击对应驱动名称右侧操作列的“上传”，选择本地已下载的驱动。 方式二：单击对应驱动名称右侧操作列的“从sftp复制”，配置sftp连接器名称和驱动文件路径。 （可选）在驱动更新场景下，上传驱动后必须在CDM集群列表中重启集群才能更新生效。
Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时，此参数是必选项。请注意，此处AK/SK对应的账号应具备OBS Buckets Viewer系统权限，否则会无法访问OBS并报“403
在弹出的“导出作业”界面，选择需要导出的作业范围和状态，单击“确定”，可以在下载中心查看导入结果。 图2 导出作业 导入作业 导入作业功能依赖于OBS服务，如无OBS服务，可从本地导入。 从OBS导入的作业文件，最大支持10Mb；从本地导入的作业文件，最大支持1Mb。从本地导入的作业文件， 解压后大小最大支持1Mb。
Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS Elasticsearch整库迁移到云搜索服务
作业日志打不开，可能权限不足。 解决方案 作业日志在OBS桶中存储，您需要先在工作空间中配置作业日志的桶目录，然后确认当前账户是否具有OBS读权限（可以通过检查IAM中OBS权限、OBS桶策略来确认）。 OBS路径仅支持OBS桶，不支持并行文件系统。 修改工作空间的用户账号，需要满足如下任一条件：
贸易数据极简上云与统计分析 贸易数据上云场景介绍 操作流程概述 使用CDM上传数据到OBS 分析数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
