检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过ROMA FDI Job节点执行一个预先定义的ROMA Connect数据集成任务,实现源端到目标端的数据集成转换。 原理 该节点方便用户启动或者查询FDI任务是否正在运行。 参数 ROMA FDI Job的参数配置,请参考以下内容: 表1 属性参数 参数 是否必选 说明 节点名称 是
路径下创建子目录,支持HDFS或OBS路径。 OBS格式:obs://{桶名}。 HDFS格式:/tmp。 Hudi表属性全局配置:单击“查看编辑”配置Hudi表属性全局配置。 “Hudi全局配置”作用于所有Hudi表,可配置的Hudi配置项参考Hudi官网介绍。 “Hudi全局
Studio是否支持版本升级? DataArts Studio是否支持版本降级? DataArts Studio支持哪些数据源作为数据湖底座? 如何查看套餐包的剩余时长? 更多 技术专题 技术、观点、课程专题呈现 数据迁移实战 同构/异构数据源之间批量数据迁移实战 华为云大数据技术解密 华为云大数据技术私享会资料下载
集群管理 查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: 数据集成API
说明 流控策略 查询集群详情 查询集群详情接口。 cdm_common 删除集群 删除集群接口。 cdm_b 查询所有可用区 查询CDM集群的所有可用区。 cdm_common 查询支持的版本 查询CDM集群支持的版本。 cdm_c 查询版本规格 按版本ID查询所有兼容规格。 cdm_common
总览接口 查询统计用户相关的总览开发指标 查询统计用户相关的总览调用指标 查询API服务调用TopN 查询APP服务使用TopN 查询API统计数据详情 查询APP统计数据详情 查询API仪表板数据详情 查询指定API仪表板数据详情 查询APP仪表板数据详情 查询指定API应用调用TopN
"value" : "100.94.8.163" }, { "name" : "linkConfig.port", "value" : "3306" }, { "name" : "linkConfig
抽取并发数:可设置同时执行的抽取任务数。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。 作业运行完是否删除:可选择是否自动删除作业。 JSON样例 "driver-config-values":
权限管理接口 创建权限集 查询权限集列表 查询权限集 删除权限集 更新权限集 添加权限集成员 查询权限集成员列表 批量删除权限集成员 添加权限集的权限 查询权限集的权限列表 删除权限集的权限 更新权限集的权限 查询数据源可配置权限 查询权限集中配置的url信息 查询数据操作信息 父主题:
作业开发API 创建作业 修改作业 查询作业列表 查询作业详情 查询作业文件 导出作业 批量导出作业 导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题: 数据开发API(V1)
作业开发API 创建补数据实例 查询补数据实例 停止补数据实例 修改作业名称 查询发布包列表 查询指定发布包详情 设置作业标签 查询告警通知记录 发布任务包 撤销任务包 查询实例运行状态 查询任务完成情况 查询指定作业的实例列表 父主题: 数据开发API(V2)
30 重跑作业实例 重跑作业实例。 300 30 查询实时作业运行状态 查询实时作业的运行状态。 300 30 查询作业实例列表 查询作业实例列表。 300 30 查询作业实例详情 查询作业实例详情。 300 30 查询系统任务详情 查询异步任务详情。 100 10 父主题: API概览
name=脚本名称,自动传递至MRS。 作业依赖规则 作业调度 作业能被其他空间作业依赖,需要该空间作业列表的查询权限。工作空间内的默认角色均有该权限,自定义角色需要在有数据开发下的作业查询权限。 脚本执行历史展示 脚本/作业开发 对脚本执行历史结果进行权限管控。 仅自己可见:脚本执行历史只显示本用户的执行历史。
100 10 查询补数据实例 查询补数据实例列表,支持分页查询。 100 10 停止补数据实例 停止指定的补数据实例。 100 10 修改作业名称 对作业名称进行重命名操作。 100 10 查询发布包列表 用于查询发布包的列表信息。 100 10 查询指定发布包详情 用于查询指定的发布包详情信息。
不用配置 linkConfig.uri 否 String 连接Apache Hadoop时的Namenode URI地址,格式为“ip:port” linkConfig.hiveMsUris 否 String 连接Apache Hadoop时的Hive元数据地址,参考 hive.metastore
数据安全诊断接口 执行数据安全诊断 查询不合理的权限配置 查询数据权限控制模块诊断结果 查询敏感数据保护模块诊断结果 查询未进行静态脱敏任务的表信息 查询数据源防护模块诊断结果 父主题: 数据安全API
适用组件:保持默认即可。 SSL加密:是否开启,请与源端DWS集群的配置保持一致。 连接方式:选择“通过代理连接”。 手动:选择“集群名”模式,“IP”和“端口”不需要手动填写。 DWS集群名:选择所创建的DWS集群。 KMS密钥:选择一个KMS密钥,使用KMS密钥对敏感数据进行加密。如果未创建K
API 说明 查询业务资产 查询业务资产,包含数据规范同步过来的业务对象和逻辑实体。 查询业务资产目录树 逐级查询业务资产目录树,包含数据规范同步过来的业务对象和逻辑实体。 指标资产接口 表3 指标资产接口 API 说明 查询指标资产目录树 查询指标资产目录树。 查询指标资产 指标资产查询接口。
看到此API。 当前工作空间可见 当前项目可见 当前租户可见 访问日志 勾选,则此API的查询结果将会产生记录并被保留7天,可以在“运营管理 > 访问日志”处通过选择“请求日期”的方式查看对应日期的日志。 最低保留期限 API发布状态预留的最低期限,单位为小时,0表示不设限制。
关系建模和维度建模的区别是什么。 解决方案 关系建模为事务性模型,对应三范式建模。 维度建模为分析性模型,主要包括事实表、维度表的设计,多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。 父主题: 数据架构