检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据架构API 概览 信息架构接口 数据标准接口 数据源接口 码表管理接口 流程架构接口 数据标准模板接口 审批管理接口 主题管理接口 主题层级接口 目录管理 原子指标接口 衍生指标接口 复合指标接口 维度接口 限定接口 维度表接口 事实表接口 汇总表接口 业务指标接口 版本信息接口
配置输出处理算子 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换，以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码，支持映射为自定义信息。 例如，将“DLM.0”错误码映射为“OK”。 结果集映射
告警阈值”。 图1 告警阈值 配置告警阈值，取值范围在0-100之间，设置为0表示不告警。当配额使用量超出设置的告警阈值时，会触发SMN短信或邮件告警。 进入消息通知服务SMN控制台，单击进入“主题管理 > 主题”，找到主题名称“DGC_Topic_Manager_Schedule_Alarm_项目名称_实例ID”。
查看API调试信息(专享版) 导入包含API信息的EXCEL文件 导出包含API信息的EXCEL文件 全量导出包含API的EXCEL压缩文件 下载EXCEL模板 父主题： 数据服务API
名称。 field_ids 是 Array of strings 字段id信息，格式：table_id.field_id。 field_names 否 Array of strings 字段名称信息，格式：表名称.字段名称。 cal_exp 是 String 计算表达式，形如'${table_id
在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。
在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。
双引号（"），则下载以后查看结果如下图所示。 模板 在开发Hive SQL、Spark SQL单任务作业时，系统支持可以引用脚本模板。创建模板的详细操作请参见配置模板。同时，系统提供了多个Hive SQL、Spark SQL的公共模板，便于用户在开发常用的SQL语句时进行参考。 父主题：
单击“添加”，弹出一个选择主题的框，单击该框进入选择主题的界面，可以通过搜索关键字快速的选择所需要的主题名称。 说明： 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 用户可以对已选择的主题名称进行删除并重新添加。 如果没有主题，单击“查看主题”可以进入消息
directory/ 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。例如：CSV格式。 写入后的文件格式，可选择以下文件格式： CSV格式：按CSV格式写入，适用于数据表到文件的迁移。 Parquet格式：按Parquet格式写入，适用于数据表到文件的迁移。
边过滤无效。格式遵循RFC3339，精确到秒，UTC时区，即yyyy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 end_time 否 String 时间过滤右边界，与begin_time一起使用只支持时间范围过滤，单边过滤无效。格式遵循RFC3
create_time String 创建时间，只读，格式遵循RFC3339，精确到秒，UTC时区，即yyyy-mm-ddTHH:MM:SSZ，如1970-01-01T00:00:00Z。 update_time String 更新时间，只读，格式遵循RFC3339，精确到秒，UTC时区，即
最新动态 本文介绍了DataArts Studio各特性版本的功能发布和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。 2022年4月 序号 功能名称 功能描述 阶段 相关文档 1 数据服务 新增支持API全量导出。 数据服务脚本脚本模式API支持返回别名。
B 表路径 “自动创建”设置为“不自动创建”时，无该此参数。 表路径。 - 存储格式 “自动创建”设置为“不自动创建”时，无该此参数。 选择存储格式。 行式存储格式：TEXTFILE。 列式存储格式：ORC、RCFILE、PARQUET。 TEXTFILE使用明文存储，当数据存在
我的订阅：展示被当前用户设置订阅的业务场景信息列表。“我的订阅”较“业务场景实例”增加了“通知状态”信息。该信息展示了业务场景实例的运行结果是否被成功订阅，例如，发送告警邮件。 2 导航栏 左侧导航栏，包括数据业务场景的存储目录。 用户可以根据实际需要对业务场景进行分目录存放，每级目录旁边的数字代表属于该级目录的业务场景的个数。
F权限，详见参考：配置Ranger组件中的UDF相关权限。 数据安全消费Kafka消息时，需要消息的格式满足要求，详见参考：Kafka消息格式要求。 Kafka消息不满足消息格式：则记录同步失败消息日志，继续消费下一条消息，最终状态为部分失败或者同步失败。 Kafka消息合法，但
I，则按照导入的API更新API定义。 导入文件 待导入的API文件可以是从其他项目直接导出的API文件，也可以是通过模板填写的Excel文件，需要确保符合模板规范要求。 图3 导入API 导入成功后，即可在API列表中查看导入的API。 父主题： DataArts Studio配置数据搬迁实践
导出作业 功能介绍 导出zip压缩包格式的作业文件，包括作业定义、作业依赖的脚本、CDM作业定义。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/{job_name}/export
如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您
如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 您
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
