检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
关系建模接口 查找表模型列表 创建表模型 更新表模型 删除表模型 查询关系 查看关系详情 查询模型下所有关系 查看表模型详情 获取模型 新建模型工作区 更新模型工作区 删除模型工作区 查询模型详情 查询目的表和字段(待下线) 导出模型中表的DDL语句 父主题: 数据架构API
质量规则接口 更新表的异常数据输出配置 清空质量规则 父主题: 数据架构API
错误码 数据集成API错误码 数据开发错误码 父主题: 附录
API概览 数据集成API概览 数据开发API(V1)概览 数据开发API(V2)概览 管理中心API概览 数据架构API概览 数据质量API概览 数据目录API概览 数据服务API概览 数据安全API概览
资源管理API 创建资源 修改资源 查询资源详情 删除资源 查询资源列表 父主题: 数据开发API(V1)
源端为关系数据库 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
源端为MongoDB/DDS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name":
fromJobConfig.isPermanency 是 Boolean 是否永久运行。 fromJobConfig.groupId 否 String 用户指定消费组ID。 如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。 fromJobConfig.dataFormat
数据库模式或表空间。 toJobConfig.tablePreparation 是 枚举 只有当源端和目的端都为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: DO_NOTHING:不自动建表。 CREATE_WHEN_NOT_EXIST:当目的端的数据库没有“tableName”参数中指定的表时,CDM会自动创建该表。
目的端为HDFS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
目的端为DDS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
目的端为DLI JSON样例 "to-config-values": { "configs": [ { "inputs": [
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 附:公共数据结构
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
概览 总览统计信息 模型统计信息 关系建模统计信息 标准覆盖率统计信息 父主题: 数据架构API
目录接口 获取作业目录 父主题: 数据质量API
转换器类型选择“表达式转换”,目前表达式转换支持字符串和日期类型的函数,语法和Java的字符串和时间格式函数非常相似,可以查看表达式转换了解如何编写表达式。 本例中源时间格式是“yyyy/MM/dd HH:mm:ss”,要将其转换成“yyyy-MM-dd HH:mm:ss.SSS Z”,需要经过如下几步:
SDK使用前准备 下载SDK,并导入对应SDK到本地开发工具。 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验
单击“下一步”,依次配置告警、订阅、调度等信息。配置质量作业的详细操作请参见新建质量作业。 单击“提交”。数据质量作业配置完成。 配置数据开发作业 登录DataArts Studio控制台。选择实例,单击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发
Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(MRS Hudi作为一种数据格式,元数据存