检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 解决方案 CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CDM
查询SQL获取max值传递给CDM作业 场景描述 通过查询SQL语句,将获取到的最大时间的max值传递给CDM作业。在CDM作业的高级属性里面,通过where子句判断最大时间范围,获取所需要的迁移数据,从而完成数据迁移任务,最终完成增量迁移任务。 约束条件 已完成新建数据连接的操作
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL,目的端为Hudi时,支持的字段类型请参见下表,以确保数据完整同步到目的端。 表1 MySQL >Hudi
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL,目的端为DWS时,支持的字段类型请参见下表,以确保数据完整同步到目的端。 表1 PostgreSQL
配置SQLServer目的端参数 表1 SQL Server作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面
SQLServer同步到MRS Hudi作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 SQLServer数据库(企业版2016、2017、2019、2022版本,标准版2016 SP2及以上版本、2017、2019、2022版本) MRS
开发实时处理单任务MRS Flink SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的实时处理Flink SQL作业,请您参考开发SQL脚本、配置作业参数、保存作业和模板章节。 前提条件 已新建作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作业
SQLServer到MRS Hudi参数调优 源端优化 SQLServer抽取优化 暂无优化配置项。 目的端优化 Hudi写入优化 Hudi表写入性能慢,优先审视表设计是否合理,建议使用Hudi Bucket索引的MOR表,并根据实际数据量配置Bucket桶数,以达到Migration
PostgreSQL数据源如何手动删除复制槽? 问题描述 PostgreSQL数据源不会自动删除复制槽,当复制槽数达到上限时,无法执行新的作业,需要手动删除复制槽。 原因分析 PostgreSQL数据源不会自动删除复制槽。 解决方案 登录作业使用的源数据库。 查询同步任务选择的database
工作空间用户管理 获取工作空间用户角色 编辑工作空间用户或用户组 获取工作空间用户信息 添加工作空间用户 删除工作空间用户 父主题: 管理中心API
数据连接管理 查询数据连接列表 创建数据连接 测试创建数据连接 查询单个数据连接信息 更新数据连接信息 删除数据连接 父主题: 管理中心API
管理作业标签 作业标签用于给相同或用途类似的作业打上标签,便于管理作业,并根据标签查询作业。参考本节操作,您可管理作业标签,执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
数据管理流程 数据管理功能可以协助用户快速建立数据模型,为后续的脚本和作业开发提供数据实体。通过数据管理,您可以: 支持管理DWS、MRS Hive、MRS Spark、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。
通知管理 DataArts Studio使用消息通知服务(Simple Message Notification,简称SMN)依据用户的订阅需求主动推送通知消息,用户在作业运行异常或成功时能立即接收到通知。 管理通知 通知周期概览 终端订阅管理 父主题: 运维调度
工作空间有管理员、开发者、部署者、运维者和访客五种预置角色和自定义角色,每种角色的介绍如下,具体操作权限请参见权限列表。 管理员:工作空间管理员,拥有工作空间内所有的业务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。
使用Python脚本连接MRS安全集群执行Impala SQL 第一步:在执行任务的服务器上安装相应的包 pip install krbcontext(版本0.10) pip install kerberos(版本1.3.1) pip install impala 命令样例如下:
父主题: 工作空间管理
父主题: 工作空间管理
父主题: 数据连接管理
MySQL迁移时报错:invalid input syntax for integer: "true" 问题描述 数据库中存储的是1或0,但没有true和false的数据,但MySQL迁移时读取到的是true或false,提示报错信息:Unable to execute the SQL