检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
OpenTSDB时,相关参数如表1所示。 表1 CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 TSDB_link OpenTSDB链接地址 OpenTSDB的ZK链接地址。 opentsdb-sp8afz7bgbps5ur
应用示例 数据集成应用示例 数据开发应用示例
自然周期调度之上一周期依赖原理 自然周期调度的概念 自然周期调度作业的调度周期包括分钟、小时、天、周、月这五种周期,不同调度周期的作业,其允许配置的依赖作业调度周期总结如图1所示。 图1 上一周期作业依赖关系全景图 即作业A的调度依赖于作业B的上一调度周期,包含以下场景: 分钟依赖分钟
如果您先购买按需计费增量包,再购买套餐包,则在购买套餐包之前已经产生的费用以按需计费结算,购买套餐包之后的费用按套餐包计时。 父主题: 数据集成(CDM作业)
参数名 说明 取值样例 基本参数 索引 Elasticsearch的索引,类似关系数据库中的数据库名称。索引名称只能全部小写,不能有大写。 index 类型 Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。 说明: Elasticsearch搜索引擎7
组件校验的资源如下: 管理中心组件:数据连接。 数据集成组件:数据集成集群。 数据架构组件:主题设计,逻辑模型,标准设计,物理模型,维度建模和指标。 数据开发组件:作业,作业目录,脚本,脚本目录和资源。 数据质量组件:质量作业和对账作业。 数据目录组件:技术资产中的表(Table
检查文件是否被删除或者没有OBS写入权限。”怎么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS桶中,您所在的用户组没有OBS的操作权限,导致
调用说明 数据治理中心提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 构造请求 认证鉴权 返回结果 父主题: 使用前必读
监控安全风险 DataArts Studio提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的DataArts Studio数据集成模块中的CDM集群,执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。
Studio管理中心提供了统一的配置和管理入口,可以管理数据连接、资源迁移等,根据需要定制个性化的入口和展示。 DataArts Studio支持的数据源 创建DataArts Studio数据连接 配置DataArts Studio数据连接参数 配置DataArts Studio资源迁移
Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据: 不清除:写入数据前不清除目标表中数据,数据追加写入。 清除全部数据:写入数据前会清除目标表中数据。
咨询与计费 区域和可用区如何选择? 数据库、数据仓库、数据湖与华为智能数据湖方案是什么,有哪些区别和联系? DataArts Studio和沃土是什么关系? DataArts Studio和ROMA有什么差异? DataArts Studio是否支持私有化部署到本地或私有云? 如何在IAM中创建细粒度权限策略?
如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”? 客户证书过期,需要完成更新证书操作,完成后重新配置连接器即可。 父主题: 数据集成(CDM作业)
APP编号(用于判断授权操作app可选的实例)。 limit 否 Integer 查询条数限制。 offset 否 Integer 查询起始坐标, 即跳过前X条数据。仅支持0或LIMIT的整数倍,不满足则向下取整。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
附录 公共消息头 解析响应消息体中的流 状态码 错误码
华为沃土数字平台是使能行业客户数字化转型的平台参考架构。以云为基础,通过优化整合新ICT技术,融合数据,使能客户实现业务协同与敏捷创新。 DataArts Studio作为沃土平台数据使能模块,帮助接入沃土数字平台的企业更好的管理使用数据。 父主题: 咨询与计费
Studio支持连接哪些数据源? 创建数据连接需要注意哪些事项? DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办? 一个空间可以创建同一数据源的多个连接吗?
使用前必读 概述 调用说明 基本概念 终端节点Endpoint 项目ID和账号ID 实例ID和工作空间ID 数据资产guid 约束与限制
错误码 数据集成API错误码 数据开发错误码 父主题: 附录