检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS导出数据到OBS的任务。 图6 创建MRS HDFS到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建MRS HDFS连接中的“hdfs_llink”。 源目录或文件：待迁移数据的目录或单个文件路径。 文件格式：传输数据时所用
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 -
数据治理框架 数据治理框架制定如下： 图1 数据治理框架 父主题： 数据治理框架
开发一个MRS Spark Python作业 本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。 案例一：通过MRS Spark Python作业实现统计单词的个数 前提条件： 开发者具有OBS相关路径的访问权限。 数据准备： 准备脚本文件"wordcount.py"，具体内容如下：
数据质量 业务指标监控（待下线） 数据质量监控 使用教程
可追溯性：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图
根据指定的id修改数据密级 功能介绍 根据指定的id修改数据密级。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/data-classification/secrecy-level/{id} 表1 路径参数 参数 是否必选 参数类型
其他限制 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。 目标数据库多的列要求非空且没有默认值，源数据库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源数据库insert多
本章节汇总了基于Migration实时数据集成服务常见应用场景的操作指导，每个实践我们提供了详细的方案描述和操作指导，用于指导您快速实现数据库迁移和同步。 表1 Migration基础实践一览表 数据源分类 源端数据源 对应目的端数据源 相关文档 关系型数据 MySQL Hadoop：MRS
查看对应的6个DLI目的表中是否已被插入预期的数据。您可以在DataArts Studio数据开发模块中，新建DLI SQL脚本执行以下SQL命令导入数据，也可以在数据湖探索（DLI）服务控制台中的SQL编辑器中执行以下SQL命令： /* 查看表a数据，其他表数据请修改命令后运行
建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时，不同类型的链路，支持
开发一个Hive SQL作业 本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可以将SQL语句转换为MapReduce任务进行运行。
描述 data data object data，统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value StandElementFieldVO object value，统一的返回结果的外层数据结构。 表6 StandElementFieldVO 参数
建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时，不同类型的链路，支持
目标数据库多的列要求非空且没有默认值，源数据库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源数据库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 Migrati
绑定Agent：环境准备中创建的CDM集群。 创建数据库 在DWS中创建数据库，以“gaussdb”数据库为例。创建数据库的详情请参考新建数据库进行操作。 创建数据表 在“gaussdb”数据库中创建数据表trade_log和trade_report。详情请参考如下建表脚本。 create
免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考表3。
目标数据库多的列要求非空且没有默认值，源数据库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源数据库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 Migrat
特定Topic的读写权限，才能访问对应Topic。 建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。
败。 目标数据库多的列要求非空且没有默认值，源数据库insert数据，同步到目标数据库后多的列为null，不符合目标数据库要求。 目标数据库多的列设置固定默认值，且有唯一约束。源数据库insert多条数据后，同步到目标数据库后多的列为固定默认值，不符合目标数据库要求。 Migra
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
