检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建数据分类 本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后,您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成,请参见新建数据密级。 新建分类规则 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。
数据集成概述 DataArts Studio数据集成是一种高效、易用的数据集成服务,围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移(Cloud
当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以目标数据为准,DRS将跳过冲突数据,继续进行后续同步。 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以源数据为准,DRS将覆盖原来的冲突数据。 报错 当同步数据与目标数据库已有数据冲突时(
实时语音识别接口 接口说明 Websocket握手请求 实时语音识别请求 实时语音识别响应
为一个逻辑卷,实际写入数据时会先往一个基本物理卷上写入,当存储空间占满时再往另一个基本物理卷写入。 条带化:有两块以上数据盘时才可支持选择条带化模式。创建逻辑卷时指定条带化,当实际写入数据时会将连续数据分成大小相同的块,然后依次存储在多个物理卷上,实现数据的并发读写从而提高读写性能。条带化模式的存储池不支持扩容。
实时灾备是否支持指定库进行灾备 问题 实时灾备是按照实例维度进行灾备,不支持选择指定库。 解决方案 实时迁移和实时同步支持选择指定的表或者库。 。 父主题: 实时灾备
查看数据血缘 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开
场景描述 查询座席操作详情,所查询的数据留存日期为一天。 接口方法 设置成“POST”。该接口仅支持POST方法,不支持PUT、GET和DELTE等方法。 请求URL https://ip:port/rest/cmsapp/v1/openapi/agent/agentoprinfo
实例状态 数据库实例状态是数据库实例的运行情况。可以通过管理控制台查看数据库实例状态。 表1 实例状态 状态 说明 正常 数据库实例正常和可用。 异常 数据库实例不可用。 创建中 正在创建数据库实例。 创建失败 数据库实例创建失败。 重启中 正在重启数据库实例。 重置密码中 正在重置管理员密码。
实时TopSQL 系统提供了不同级别的资源监控实时视图用来查询实时TopSQL。资源监控实时视图记录了查询作业运行时的资源使用情况(包括内存、下盘、CPU时间等)以及性能告警信息。 实时视图具体的对外接口如下表所示: 表1 资源监控实时视图 视图级别 节点范围 查询视图 query级别/perf级别
实时分析输出 算子简介 将经过数据管道清洗后的数据输出到实时分析,作为实时分析的数据来源。 算子配置 算子配置项如图所示: 算子名称:用户指定这个算子的名称。 管道输出数据名称:用户声明这个输出的名称,以便在实时分析作业的“管道数据输入”算子中使用。 属性:用户选择需要将哪些属性输出给实时分析进行后续的分析任务。
数据同步 概述 为添加的数据源创建数据同步链路,目前仅支持创建DRS实时灾备任务。 约束与限制 配置MySQL、PostgreSQL同步链路参数时,源数据源和目标数据源不能选择同为自定义类型的数据源,至少需配置一条链接模式为“RDS”的数据源。 创建同步链路 登录MAS控制台,在
同步方案概览 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 常用场景:实时分析,报表系统,数仓环境。 同步特
数据管理(旧版) 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 查询数据集的统计信息 查询数据集监控数据 查询数据集的版本列表 创建数据集标注版本 查询数据集版本详情 删除数据集标注版本 查询样本列表 批量添加样本 批量删除样本 查询单个样本信息 获取样本搜索条件
实时同步管理 批量数据加工 批量设置同步策略 高级设置 父主题: API v3(不再推广)
实时灾备管理 批量主备倒换 查询容灾监控数据 批量查询灾备初始化进度 批量查询灾备初始化对象详情 父主题: API v3(不再推广)
配置DataArts Studio数据连接参数 DWS数据连接参数说明 DLI数据连接参数说明 MRS Hive数据连接参数说明 Apache Hive数据连接参数说明 MRS HBase数据连接参数说明 MRS Kafka数据连接参数说明 MRS Spark数据连接参数说明 MRS Clickhouse数据连接参数说明
补数据监控 在数据开发模块控制台的左侧导航栏,选择“运维调度 > 补数据监控”,进入补数据的任务监控页面。 用户可以在图1的页面中,查看补数据的任务状态、业务日期、并行周期数、补数据作业名称、创建人、创建时间以及停止运行中的任务。系统支持按补数据名称、创建人、日期和状态进行筛选。
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
导出数据 功能介绍 导出数据表中的具体数据。平台中创建的对象中,其内部的数据是支持导出的,该接口支持将对象中的数据按照设定的周期频率、筛选条件进行导出。根据设定的执行时间,会自动生成定时任务,定期或单次执行导出任务,数据导出完成后可调用文件下载接口下载文件,导出完成后您可根据得到的定时任务id查看该任务的执行情况。