检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<源点，终点>标记一条边，不包含Label。 否：表示重复边定义包含Label，即用<源点，终点，Label>标记一条边。 日志存储路径 否 用于存储导入图过程中不符合元数据定义的点、边数据集和详细日志。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询
select id,name from sqoop.user; 传输模式 支持记录迁移和文件迁移 默认为记录迁移。仅当源端为Hive2.x且数据存储在HDFS、目的端为Hive3.x且数据存在OBS并行文件系统时，才支持文件迁移。 当选择文件迁移时，需保证源端和目的端的表格式和属性需一致才能迁移成功。
治理运营平台，包含数据集成、数据开发、数据架构、数据质量监控、数据资产管理、数据服务、数据安全等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。
OBS数据连接参数说明 表1 对象存储服务（OBS）连接 参数 是否必选 说明 数据连接类型 是 OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
单击“全量导出”，进入到“导出全量数据”页面，单击“确认”。导出完成后，请到下载中心查看导出的内容。 如果没有配置默认存储路径，单击“批量导出”后，配置存储路径，可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M，超过30M系统会自动截断。 导出的作业实例与作业节点存在对
archive：用户AI模型文件。支持的文件后缀名为：zip、tgz、tar.gz、tar、jar。 资源位置 是 选择资源所在的位置，当前支持OBS和HDFS两种资源存储位置。HDFS当前只支持MRS Spark、MRS Flink Job、MRS MapReduce节点。 文件路径 是 当“资源位置”选择OBS时，文件路径选择OBS文件路径。
> 运维管理”页面中的区域和按键功能。 图1 页面区域说明 表1 运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏，包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放，每级目录旁边的数字代表属于该级目录的规则实例的个数。 2 规则实例列表 展示实例名称、类型、运行状态、运行结果等信息。
csv后缀，选择“UTF-8”编码格式（不能带BOM），则能以CSV格式保存该文件。 将源数据CSV文件上传到OBS服务。 登录控制台，选择“存储 > 对象存储服务 OBS”，进入OBS控制台。 单击“创建桶”，然后根据页面提示配置参数，创建一个名称为“fast-demo”的OBS桶。 为保
样，但目的表字符类型字段与源表一样，在迁移数据时，可能会有出现长度不足的错误。 说明： 当启动该功能时，也会导致部分字段消耗用户相应的3倍存储空间。 否 使用非空约束 当选择自动创建目的表时，如果选择使用非空约束，则目的表字段的是否非空约束，与原表具有相应非空约束的字段保持一致。
单击“全量导出”，进入到“导出全量数据”页面，单击“确认”。导出完成后，请到下载中心查看导出的内容。 如果没有配置默认存储路径，单击“批量导出”后，配置存储路径，可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M，超过30M系统会自动截断。 导出的作业实例与作业节点存在对
量，开启MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL数据库的性能。注意，开启本参数后，日期类型将不符合格式的会存储为0000-00-00，更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败，请联系数据库管理员启用local_infile参数或选择不使用本地API加速。
选择“是”时，如果源端数据表中的某一个字段内容包含字段分隔符或换行符，写入目的端时CDM会使用双引号（"）作为包围符将该字段内容括起来，作为一个整体存储，避免其中的字段分隔符误将一个字段分隔成两个，或者换行符误将字段换行。例如：数据库中某字段为hello,world，使用包围符后，导出到CSV文件的时候数据为"hello
Flink作业的运行程序参数，请参见《MapReduce用户指南》中的运行Flink作业。 输入数据路径 否 选择输入数据所在的路径。 输出数据路径 否 选择输出数据存储的路径。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。
单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面，如图3所示。 图3 选择连接器类型 连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数，如图5所示。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。
将数据逻辑沉淀至数据平台，实现应用逻辑与数据逻辑解耦，在减少数据模型的重复开发的同时，避免数据逻辑调整带来的“散弹式修改”。 将数据逻辑相关的存储与计算资源下沉到数据平台，降低应用侧的资源消耗。 减少大量明细、敏感数据在应用侧的暴露，同时通过API审核发布、鉴权流控、动态脱敏等手段，提升数据安全能力。
则的关联。有关关联质量规则的更多信息，您也可以参考关联质量规则。 图2 关联质量规则 生成异常数据：打开此项，表示异常数据将按照配置的参数存储到规定的库中。 父主题： 数据架构
输入参数信息，多个参数间使用Enter键分隔。 执行程序参数 否 输入MRS的执行程序参数。 不同参数间用空格隔开，可通过在参数名前添加@的方式防止参数信息被明文存储。 属性 否 输入key=value格式的参数，多个参数间使用Enter键分割。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间
在集群页面单击集群名称，进入基本信息页签。选择打开日志转储功能选择转储方式： 当选择OBS存储，当前工作空间中API的所有访问日志，会转储到工作空间指定的OBS桶。 当选择LTS存储，在选择转储方式前，需要在LTS服务中提前新建日志组和日志流，如何新建日志组和日志流请参考查看
deflate gzip 存储路径 是 设置结果文件的OBS存储路径。选择OBS路径后，您需要在选择的路径后方自定义一个文件夹名称，系统将在OBS路径下创建文件夹，用于存放结果文件。 您也可以到下载中心配置默认的OBS路径地址，配置好后在转储时会默认填写。 覆盖类型 否 如果“存储路径”中，您
Spark作业的运行程序参数，请参见《MapReduce用户指南》中的运行Spark作业。 输入数据路径 否 选择输入数据所在的路径。 输出数据路径 否 选择输出数据存储的路径。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
