检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 建议使用的组件版本既可以作为目的端使用,也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本,建议使用的版本:
数据安全能力成熟度模型DSMM 数据安全治理能力概述 数据安全能力成熟度模型 数据安全治理维度 父主题: 数据治理解决方案
FgacSingleUpdateReq objects 细粒度认证数据开发连接列表。 表4 FgacSingleUpdateReq 参数 是否必选 参数类型 描述 dw_id 否 String 数据连接id,获取方法请参见查询细粒度认证数据源连接列表。 fgac_flag 否 Boolean 是否开启细粒度认证
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 guid 是 String 资产guid,获取方法请参见数据资产guid。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户To
集群名称。请于集群管理页面查看集群名称信息。当数据源类型为DLI时,该参数需要填写为DLI。 database_name String 数据库名称。获取方法请参见获取数据源中的表。 table_id String 数据表id,获取方法请参见获取数据源中的表。 table_name String 数据表名称, 获取方法请参见获取数据源中的表。
String 创建人。 name 否 String 任务名。 data_source_type 否 String 数据源类型。 data_connection_id 否 String 数据连接id。 start_time 否 String 开始时间。 end_time 否 String 结束时间。
CDM未使用数据传输功能时,是否会计费? CDM集群运行状态下,即便未使用也是正常计费的。 如果长期不使用建议删除集群,需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题: 数据集成(CDM作业)
从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考创建DataArts Studio数据连接新建连接。 集群名称 无需选择,自动匹配数据连接中的数据源集群。 权限目标端 *数据源类型 当前仅支持MRS Hetu数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的
在数据开发子模块中,doris SQL作业执行失败,是什么原因? 问题描述 在数据开发子模块中,doris SQL作业调度任务失败,手动执行成功。 图1 执行历史 图2 运行日志 解决方案 Doris SQL不支持#注释,支持--注释和/**/。 父主题: 数据开发
diagnose_id 是 String 诊断任务id,通过调用查询数据权限控制模块诊断结果接口获取。 datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 user_name 否 String 用户名。 请求参数 表3 请求Header参数
qualified_name String 数据连接限定名称。 dw_id String 数据连接id。 create_user String 数据连接创建者。 create_time Number 数据连接创建时间,时间戳。 dw_catagory String 数据连接类别。 update_type
400 BadRequest。 401 Unauthorized。 403 Forbidden。 404 Not Found。 父主题: 元数据采集任务接口
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
rts Studio数据开发组件执行脚本、测试运行作业时,数据源会使用数据连接上的账号进行认证鉴权。因此,即使已通过配置角色/权限集对用户进行权限管控,当用户在进行数据开发时,权限管控依然无法生效。 而在启用细粒度认证后,在DataArts Studio数据开发执行脚本、测试运行
数据目录API 业务资产接口 指标资产接口 统计资产接口 资产管理接口 资产分类接口 资产分级接口 资产信息 血缘信息 元数据采集任务接口 数据地图接口 标签接口
开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 (可选)管理作业 父主题: 数据开发
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
模型设计 数仓规划 关系建模 维度建模 数据集市 父主题: 数据架构
指标设计 业务指标 技术指标 父主题: 数据架构
通用操作 逆向数据库(关系建模) 逆向数据库(维度建模) 导入导出 关联质量规则 查看表 批量修改主题/目录/流程 管理配置中心 审核中心 父主题: 数据架构