检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可能原因 当前用户未同步至DWS数据源,或者不具备DWS Database Access权限。 解决方案 您可以通过同步用户重新将当前登录用户同步到DWS数据源,然后为其授予DWS Database Access权限,再次进行联通性测试。 父主题: 数据安全
是,将CDM集群开机后,确认管理中心的数据连接恢复正常。 否,跳转至步骤2。 检查该CDM集群是否同时被用于数据迁移作业和管理中心连接代理。 是,您可以错开数据迁移作业和管理中心连接代理的使用时间,或再创建CDM集群,与原有CDM集群分开使用。 否,跳转至步骤3。 直接重启该CDM集群,释放连接池资源。确认管理中心的数据连接恢复正常。
获取用户的token,因为在后续的请求中需要将token放到请求消息头中作为认证。 创建CDM集群 如果您已经创建过CDM集群,可以跳过该步骤,直接使用已创建的集群ID。 如果您需要使用新的集群执行迁移任务,调用创建集群API创建。 创建连接 调用创建连接API创建MySQL连接和DWS连接。
如图,在“运维调度 > 通知管理”中配置了作业异常/失败的SMN通知,但却收不到作业失败的告警通知。 图1 通知管理 解决方案 此时可按以下步骤依次排查: 确认失败作业为调度中的作业。测试运行的作业是不发通知的,只有调度中的作业才会发SMN通知。 在“运维调度 > 通知管理”中查看此作业的通知配置开发是否为打开状态。
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
处理技术,使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 程序在读写两端会根据数据源类型,使用不同的访问接口,一般是数据源提供的对外接口,例如JDBC、原生API等,因此
Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。通过IAM,您可以: 根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM
Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。通过IAM,您可以: 根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM
不支持源数据库Microsoft SQL Server为TLS 1.0、TLS 1.1协议的同步,如果需要同步,建议源库升级到TLS 1.2及以上版本。 操作步骤 本小节以Microsoft SQL Server到MRS Hudi的实时同步为示例,介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览,
/v1.1/{project_id}/cluster/modify/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String CDM集群ID,获取方法请参见查询集群列表。
配置SQLServer目的端参数 表1 SQL Server作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
如果未开启,检查用户组是否添加CDM Administrator角色。 如果已开启,请继续执行步骤2继续检查。 检查用户是否添加CDM访问策略,包含自定义策略或预设策略,如CDM FullAccess、CDM ReadOnlyAccess等,参考CDM权限管理。 检查对应企业项目是否添加拒绝访问策略。 父主题:
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时,源端作业参数如表1所示。 表1 PostgreSQL/SQL Server作为源端时的作业参数
SQLServer到MRS Hudi参数调优 源端优化 SQLServer抽取优化 暂无优化配置项。 目的端优化 Hudi写入优化 Hudi表写入性能慢,优先审视表设计是否合理,建议使用Hudi Bucket索引的MOR表,并根据实际数据量配置Bucket桶数,以达到Migration写入性能最佳。
创建数据连接时,使用KMS加解密 DWS dws:cluster:list dws:cluster:getDetail dws:openAPICluster:getDetail 创建DWS数据连接 MRS mrs:cluster:get mrs:cluster:list 创建MRS数据连接 VPC
1/{project_id}/clusters/{cluster_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 请求参数 表2
1/{project_id}/clusters/{cluster_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String CDM集群ID,获取方法请参见查询集群列表。
单击“保存”,对设置的配置项进行保存。 配置数据导出策略 系统默认支持所有用户都能下载和转储SQL脚本的执行结果。如果您不希望所有用户都有该操作权限,可参考下如下步骤对数据导出策略进行配置。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“数据导出策略”配置项。
这里主要介绍作业的查看和修改。 查看 查看作业状态 作业状态有New,Pending,Booting,Running,Failed,Succeeded,stopped。 其中“Pending”表示正在等待系统调度该作业,“Booting”表示正在分析待迁移的数据。 查看历史记录
b1c675f070d6af9d&quality_score_dimension=technology 响应示例 状态码: 200 Success { "score" : 56.75, "ranges" : [ { "count" : 9, "name" :