检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入DWS数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题: 创建并开放数据API
通过数据盘创建数据盘镜像 操作场景 数据盘镜像是只包含用户业务数据的镜像,您可以通过创建数据盘镜像将云服务器数据盘上的业务数据保存。数据盘镜像可用来创建新的云硬盘,从而实现用户业务数据的迁移。 如果您有以下使用场景,建议通过数据盘镜像来实现。 云服务器上的业务数据迁移到另一个账号。
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
大数据数据迁移 数据迁移失败,提示超过DLI网管流控上限 部分表迁移失败,报错:CRC Check failed 部分表迁移失败,报错:no more field nodes for for field %s and vector %s
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明
在未上线数据安全组件的区域,申请权限和授权流程由数据目录组件提供,详见配置数据表权限(待下线)。 在已上线数据安全组件的区域,申请权限和授权流程由数据安全组件提供。 在已上线数据安全组件的区域,数据表权限功能已由数据安全组件提供,不再作为数据目录组件能力。 数据安全组件当前在
参数解释: 元数据操作指示符。 约束限制: 无 取值范围: REPLACE_NEW:表示对于已经存在值的元数据进行替换,不存在值的元数据进行赋值,未指定的元数据保持不变(自定义头域作替换处理)。 REPLACE:表示使用当前请求中携带的头域完整替换,未指定的元数据(本表中除x-o
数据集如何切分 在发布数据集时,仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例。 输入“训练集比例”,数值只能是0~1区间内的数。设置好“训练集比例”后,“验证集比例”自动填充。“训练集比例”加“验证集比例”等于1。
数据加工 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL
大数据 数据湖探索 DLI 数据治理中心 DataArts Studio 数据仓库服务 GaussDB(DWS) MapReduce服务 MRS 云搜索服务 CSS 父主题: SCP授权参考
开放API 创建API分组 创建负载通道(可选) 创建API 调试API 创建发布环境和环境变量(可选) 发布API 绑定域名 配置API授权(可选) 父主题: 服务集成指导(旧版界面)
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
MySQL实例 04 使用 数据库实例是在云中运行的独立数据库环境,它是华为云关系型数据库服务的基本构建块。一个数据库实例可以包含多个由用户创建的数据库,并且可以使用与访问独立数据库实例相同的工具和应用程序进行访问。使用华为云关系型数据库管理控制台可以方便地创建和修改数据库实例。 常用操作
数据水印功能会不会修改源数据? 华为云数据安全中心服务的数据水印功能不会修改源数据。 使用数据水印功能时,DSC通过调用OBS桶数据或者本地文件,将水印信息嵌入到文件后生成新的文档,该文档会下载到您指定的本地路径,所以对源数据不会有任何影响。更详细的了解,请参考数据水印章节。 父主题:
新建数据分类 本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后,您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成,请参见新建数据密级。 新建分类规则 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
数据治理模块域 数据治理主要专注于如下模块域: 数据集成 数据集成用来完成数据入湖动作,不是简单的数据搬家,而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准,包括:明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由
GaussDB in Python):面向数据库初学者,培训与认证数据库技术,掌握基于GaussDB数据库Python编程实操。 GaussDB工作级开发者认证(HCCDP – GaussDB):面向数据库工程师,培训与认证使用数据库开展日常工作的能力及数据库日常运维能力。 人工智能工作级开发者认证(HCCDP
CLICKHOUSE数据源 FTP:FTP数据源 OBS:OBS数据源 ACTIVEMQ:ActiveMQ数据源 ARTEMISMQ:ArtemisMQ数据源 IBMMQ:IBM MQ数据源 KAFKA:Kafka数据源 MQS:MQS数据源 RABBITMQ:RabbitMQ数据源 HANA:HANA数据源
数据治理各模块域之间的关系 数据治理主要模块域之间的关系如下图所示: 图1 数据治理各模块之间的关系 数据标准为数据开发和设计工作提供核心参考,同时也通过数据开发实现数据标准化落地。数据标准为数据应用提供“一致的语言”;数据标准为主数据管理提供主数据定义的基准,数据标准也是数据质