检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已购买并配置虚拟专用网络VPN,与云上的至少一个虚拟私有云VPC连通。若未开通虚拟专用网络VPN请参考通过企业版站点入云VPN实现数据中心和VPC互通进行配置。 准备工作 查询打通网络过程中所涉及到对象的网段(包含数据源、中转VPC、资源组),为便于理解,本章节将举例为您进行介绍。 表1
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
候,会按照数据安全配置的展示层脱敏策略,对结果数据前端页面展示进行敏感信息脱敏操作。 否:表示在进行脚本作业开发以及表数据预览的时候,不会对结果数据进行敏感数据脱敏。 该配置项功能与数据安全组件强相关,开关默认关闭,只有开关打开并且在数据安全启用了展示层脱敏策略时,该功能生效。 单击“保存”,对设置的配置项进行保存。
数据标准接口 获取数据标准集合 创建数据标准 删除数据标准 修改数据标准 查看数据标准详情 关联属性与数据标准 父主题: 数据架构API
敏感数据保护 隐私数据保护简介 静态脱敏任务 展示层脱敏(高级特性) 动态脱敏任务 数据加密 数据水印 文件水印 动态水印 父主题: 数据安全
已购买并配置云专线,与云上的至少一个虚拟私有云VPC连通。若未开通云专线请参考通过云专线实现云下IDC访问云上VPC和其他云对应官网资料进行配置。 准备工作 查询打通网络过程中所涉及到对象的网段(包含数据源、中转VPC、资源组),为便于理解,本章节将举例为您进行介绍。 表1 资源网段规划
数据安全运营 审计数据访问日志 诊断数据安全风险 查看表权限的拥有者(表权限视图)(高级特性) 查看用户的权限(成员权限视图)(高级特性) 父主题: 数据安全
数据源接口 获取数据连接信息 父主题: 数据架构API
数据权限查询接口 查询角色对一组库、表的可配置操作权限信息 父主题: 数据安全API
支持的数据类型 配置字段映射时,数据源支持的数据类型请参见表1,以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
OBS数据库作为点数据集和边数据集,这种到OBS的数据集成场景无需提前创建表。但MySQL数据库源端数据导入到MRS Hive时,需要在MRS Hive数据库中预先创建标准数据表。 因此,本例共涉及MySQL数据库创建原始数据表和在MRS Hive数据库中创建标准数据表。本例以执行SQL方式建表为例进行说明。
会报错。 准备数据文件“in.txt”,内容为一段英文单词。 操作步骤: 将脚本和数据文件传入OBS桶中,如下图。 图1 上传文件至OBS桶 本例中,wordcount.py和in.txt文件上传路径为:obs://obs-tongji/python/ 创建一个数据开发模块空作业
QL中的原始样例数据需要导入OBS中,并标准化为点数据集和边数据集。 MySQL到MRS Hive迁移作业:正式业务流程中,需要将MySQL中的原始样例数据需要导入MRS Hive中,并标准化为点数据集和边数据集。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。
数据集成API 集群管理 作业管理 连接管理 附:公共数据结构
购买数据服务专享集群增量包 数据服务专享集群增量包对应数据服务专享版集群。创建一个数据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。
数据架构API概览 表1 数据架构API类型 类型 说明 概览 概览接口。 信息架构接口 信息架构接口。 数据标准接口 数据标准接口 数据源接口 数据源接口。 码表管理接口 码表管理接口。 流程架构接口 流程架构接口。 数据标准模板接口 数据标准模板接口。 审批管理接口 审批管理接口。
数据迁移进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
通过配置展示层脱敏策略,可以实现在数据开发进行脚本、作业开发查询时,表数据预览会按照展示层脱敏策略对数据展示进行敏感信息脱敏。 在新版本模式下仅当使用企业版时,才支持展示层脱敏功能,旧版本模式使用基础版及更高版本时即可支持。展示层脱敏功能当前在北京四、上海一内测(其他region后
删除数据标准模板 功能介绍 删除数据标准模板。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/design/standards/templates 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String