检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cause : 将截断字符串或二进制数据。 原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方案 在SQL Server数据库中建表时，将数据库字段改大，长度不能小于源端OBS中的数据长度。 父主题： 数据集成（CDM作业）
SQLServer到MRS Hudi参数调优 源端优化 SQLServer抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增SQLServer同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan
oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service Name 数据库名称 要连接的数据库。 db_user 用户名 拥有Oracle数据库的读取权限的用户。
dws_link 数据库服务器 单击输入框后的“选择”，可获取用户的DWS实例列表。 - 端口 配置为要连接的数据库的端口。DWS数据库端口默认为8000。 8000 数据库名称 配置为要连接的数据库名称。 demo 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。
Currentlogsequence 2 执行SQL命令ALTER DATABASE OPEN启动数据库。 Oracle开启数据库和需要迁移的表的补充日志。 执行以下SQL开启数据库补充日志。 ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 开启需要实时同步的表的补充日志。
Hive迁移作业长时间卡顿怎么办？ 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？ MySQL迁移时报错“JDBC连接超时”怎么办？ 创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？ 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 如何处理CDM从OB
如何查看表行数和库大小 在数据治理流程中，我们常常需要统计数据表行数或数据库的大小。其中，数据表的行数可以通过SQL命令或数据质量作业获取；数据库大小可以直接在数据目录组件中查看，详情请参考如下操作指导： 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源，DataArts
新建数据连接 通过新建数据连接，您可以在数据开发模块中对相应服务进行更多数据操作，例如：管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下，可支持多个作业运行和多个脚本开发，当数据连接保存的信息发生变化时，您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接
数据安全概述 数据安全以数据为中心，基于数据动态流动场景，构建全链路数据湖安全的解决方案，全方位保障数据湖安全，以此满足不同角色（如数据开发工程师，数据安全管理员，数据安全审计员和数据安全运营人员）对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资
0/19 网络配置流程 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段（例如172.16.0.0/19）访问数据库的权限。各类型数据库添加白名单的方法不同，具体方法请参考各数据库官方文档进行操作。 数据库若配置了安全组，则还需要增加入
跨Region通过云连接连通网络 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云，且与Migration资源组不同Region场景下，通过云连接打通网络的方案。
dds_link 服务器列表 服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的DDS数据库名称。 DB_dds 用户名 连接DDS的用户名。 cdm
基本概念 数据库、数据仓库、数据湖与华为智能数据湖方案 请参考数据库、数据仓库、数据湖与华为智能数据湖方案。 DataArts Studio实例 DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提
所选数据连接类型中未创建数据连接，请单击“新建”，创建新的数据连接。 数据库 （或数据库和schema、命名空间） 呈现待采集的数据库（或数据库和schema、命名空间）和数据表。 单击数据库（或数据库和schema、命名空间）后的“设置”，设置采集任务扫描的数据库（或数据库和schema、命名空间）范围。当不进
0/19 网络配置流程 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段（例如172.16.0.0/19）访问数据库的权限。各类型数据库添加白名单的方法不同，具体方法请参考各数据库官方文档进行操作。 数据库若配置了安全组，则还需要增加入
ertex_user_rds2obs”。 edge_friends_rds2hive（CDM Job节点）：在节点属性中，选择创建数据集成作业中的CDM集群，并关联CDM作业“edge_friends_rds2hive”。 edge_friends_rds2obs（CDM Job
同Region同租户直接连通网络 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云，且与Migration资源组同Region同租户场景下的网络打通方案。
PostgreSQL到DWS参数调优 源端优化 PostgreSQL抽取优化。 暂无优化配置项。 目的端优化 DWS写入优化。 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名
SQL脚本建立外部分区数据表，以及按照告警分区时间和告警类别进行统计。 迁移数据：告警统计表计算完成后，将数据通过云数据迁移服务（CDM）统一导出到RDS MySQL数据库。 环境准备 已开通对象存储服务（OBS），并创建桶，例如“obs://dlfexample/alarm_info”、“obs:
本地IDC数据库的公网IP（例如14.x.x.x/32），下一跳跳至上面配置的NAT网关。 图12 路由表添加路由 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段（例如100.x.x.x/32）访问数据库的权限。各类型数据库添加白名单
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
