检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源管理 创建数据源 查询数据源 查询指定数据源 修改数据源 删除指定数据源信息 获取数据源中所有的表 获取数据源中某个表中所有字段 测试数据源连通性 测试数据源SQL是否可用 父主题: 数据集成API
数据质量 数据质量检测算子,是用户在进行离线计算之前使用原始初始格式数据(离线数据源中的离线数据)或者通用格式数据检测输入数据是否合法。包括离线数据中是否包含特殊字符,数据类型是否正确,是否缺少必备信息等。 前提条件 已将离线数据上传至OBS桶中。
接入数据源。 配置ROMA Connect接入业务系统的数据库,确保可以正常从数据库读取数据。不同类型数据源的接入配置不同,此处以MySQL数据库为例,其他类型数据库请参考接入数据源。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。
数据盘镜像中的数据可以导入到之前已有的数据盘内吗? 不能直接导入。 数据盘镜像只能用于申请新的磁盘,无法直接导入到之前已有的磁盘内。您可以按如下指导操作: 使用数据盘镜像临时生成一个新磁盘。 将新磁盘挂载至旧磁盘所在的云服务器。 拷贝数据到旧磁盘内,再删除这个临时的磁盘。
什么是交换数据空间 交换数据空间 交换数据空间(Exchange Data Space,简称EDS)面向数据要素流通场景,提供数据交换过程中的安全保护技术能力,如数据使用策略、日志审计、数据市场等。
FDI各类数据库支持哪些数据类型?
关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 在OBS、NAS和SMB存储系统之间进行异构迁移时,不同系统对文件夹和路径长度的限制存在不同。了解并遵守每个系统的对象长度限制是成功执行异构迁移的关键。
支持的数据源 新建连接 管理驱动 已发布区域:全部 作业管理 CDM可以实现在同构、异构数据源之间进行表/文件级别以及整库的数据迁移,支持配置作业定时任务及抽取并发数、作业定时备份/恢复、配置作业环境变量、作业批量导入/导出等功能。
数据订阅 AOM支持用户订阅指标或者告警信息,订阅后可以将数据转发到用户配置的kafka或DMS的Topic中,供消费者消费转发的订阅的信息。 数据订阅功能当前受限开放,如有需求可以通过提交工单,联系工程师为您开放此功能。 最多可创建10个数据订阅规则。
特点 同构数据库间以整体数据库搬迁为目的。 支持包括:表、数据、索引、视图、存储过程、函数、数据库账号、数据库参数等。 可选择表级、库级或全部迁移维度。 支持同构、异构数据库间的数据同步,维持不同业务之间的数据持续性流动。 聚焦于表和数据,并满足多种灵活性的需求。
数据探索 选择数据后,可以对选定的数据进行探索操作,包括数据统计、图表分析、特征分析以及时序分析。 数据统计 支持对当前特征数据进行全量展示,包括所有特征字段对应的字段类型,字段值。还支持对某个特征字段进行统计,统计类型包括平均值、方差、最大值、最小值、百分比分位数。
数据迁移 Redis数据迁移方案概览 迁移后Redis数据一致性校验 阿里云数据库Redis/Tair到GeminiDB Redis的迁移 腾讯云Redis到GeminiDB Redis的迁移 自建Redis到GeminiDB Redis的迁移 RDB通过迁移工具到GeminiDB
处理数据 入门流程 示例:图片质量变换
数据迁移 数据库与存储迁移 数据库迁移 由运维或者开发人员基于华为云数据复制服务DRS完成数据库迁移,详情请参见跨云数据库在线迁移。 存储迁移 由运维或者开发人员基于华为云对象存储迁移服务OMS完成对象存储中的数据迁移,详情请参见对象存储迁移服务 OMS。
如何保证数据高可靠 云数据库 GeminiDB的数据全部存储在底层DFV分布式存储之上,为三副本,在单副本故障时: 当存储节点故障,分布式存储状态机制保证故障路由,分发到正常节点。 路由到故障分片(节点正常,其中某一分片故障),上层业务上报故障分片并重新路由到正常节点。
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。
数据集管理 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 父主题: 数据管理
数据备份 查询当前租户是否为SRE白名单租户 查询当前在用备份策略 修改当前在用备份策略 查询备份任务记录列表 查询备份任务详情 上报数据备份结果 父主题: API参考
新建表/文件迁移作业 操作场景 CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移,支持表/文件迁移的数据源请参见支持的数据源。 约束限制 记录脏数据功能依赖于OBS服务。 作业导入时,JSON文件大小不超过1MB。 单文件传输大小不超过1TB。
数据建模 物理实体物化失败怎么处理? DataGovernance,DataGenerate和DataModeling三个目录的作用是什么? 物理实体支持哪些数据源? 父主题: 常见问题