检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字段转换器配置指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创
导入导出 数据架构支持流程、主题、码表、数据标准、关系建模表(物理表)、逻辑实体、维度建模维度/事实表、业务指标、技术指标、数据集市汇总表的导入导出,暂不支持时间限定、审核中心和配置中心数据的导入导出。 本例中以导入和导出关系建模表为例说明如何进行导入导出,其他数据操作类似。如果
字段转换器配置指导 操作场景 作业参数配置完成后,将进行字段映射的配置,您可以单击操作列下创建字段转换器。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创
OBS Manager 约束限制 该功能依赖于OBS服务。 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1,表2和表3配置OBS Manager节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含
调用创建资源的API报错“资源名不合法”是什么原因? 问题描述 调用创建资源的API报错“资源名不合法”。 解决方案 资源名称只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1-32个字符。 父主题: 数据开发
发现敏感数据 完成了敏感数据识别规则组定义后,就可以根据定义的规则来创建敏感数据识别任务,发现敏感数据,并将敏感数据同步到数据地图组件。 敏感数据发现任务运行后,为使该识别规则在静态脱敏任务中生效,必须在“敏感数据分布>手工修正”页面对任务中的识别规则进行“确认”,使规则状态变更为“有效”。
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? 问题描述 迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table
查看敏感数据分布 本章主要介绍如何查看敏感数据发现结果以及手工修正。 查看敏感数据发现结果:敏感数据识别任务完成后,需要查看任务的运行结果。 手工修正:发现敏感数据后,您必须根据具体情况进行手工修正,通过对任务中的识别规则进行“确认”,使规则状态变更为“有效”,才能使该识别规则在静态脱敏任务中生效。
报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”? 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项
停止脚本实例的执行 功能介绍 该接口用以停止脚本实例的执行。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/scripts/{script_name}/instances/{instance_id}/stop
执行SQL语句失败,系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs
查询脚本信息 功能介绍 此接口可以查询指定脚本的定义,包括脚本类型和脚本内容。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts/{script_name}?version={version}
修改脚本内容 功能介绍 本接口用以修改脚本的配置项或者脚本内容。 修改脚本时,需要指定待修改的脚本名称。 脚本名称和脚本类型不支持修改。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 PUT /v1/{project_id}/scripts/{script_name}
删除脚本 功能介绍 此接口用以删除指定脚本。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 DELETE /v1/{project_id}/scripts/{script_name} 参数说明 表1 URI参数说明 参数名 是否必选 参数类型
查询脚本实例执行结果 功能介绍 该接口用以获取脚本实例的执行状态和结果。 查询时,需要指定脚本名称和脚本实例ID。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts/{script
查询脚本列表 功能介绍 此接口用于查询脚本列表,每次查询返回的脚本数量上限是1000个。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts?offset={offset}&limi
管理脱敏策略 在实际生产中,会存在数据分析部门需要对数据进行数据分析,数据中存在敏感信息,但又不得不开放权限。此时就可以建立脱敏策略并对敏感数据进行脱敏,在满足业务需要的同时保证了数据的真实性不被泄露。 本章主要介绍如何创建脱敏策略。此处的脱敏策略仅适用于静态脱敏任务。 前提条件
目的端为OBS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
关系数据库连接 介绍 通过JDBC连接,可以对以下关系型数据库抽取、加载数据: 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 连接样例 { "links": [ {
配置OBS目的端参数 作业中目的连接为OBS连接时,即导入数据到云服务OBS时,目的端作业参数如表1所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。