检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已开通相应的云服务。比如，MRS服务。 已新建数据连接，请参见新建数据连接。 MRS API方式连接不支持通过可视化模式管理数据库，建议通过SQL脚本方式进行创建。 删除数据库时，请确保该数据库未被使用，且没有关联数据表。
查询补数据实例 功能介绍 查询补数据实例列表，支持分页查询。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/supplement-data?sort={sort}&page={page
X-Auth-Token 是 String IAM Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）使用Token认证时必选。
EL表达式使用实例 通过本示例，用户可以了解数据开发模块EL表达式的如下应用： 如何在数据开发模块的SQL脚本中使用变量？ 作业如何传递参数给SQL脚本变量？ 在参数中如何使用EL表达式？ 背景信息 使用数据开发模块的作业编排和作业调度功能，每日通过统计交易明细表，生成日交易统计报表
数据开发错误码 错误响应消息格式如下： { "error_code":"DLF.0100", "error_msg":"The job not found" } 错误码如表1所示。 表1 错误码 状态码 错误码 错误信息 描述 处理措施 400 DLF.0100 The job does
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 PostgreSQL
创建流程架构 功能介绍 创建流程架构。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/biz/catalogs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目
是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。
将源数据CSV文件上传到OBS服务。 登录控制台，选择“存储 > 对象存储服务 OBS”，进入OBS控制台。 单击“创建桶”，然后根据页面提示配置参数，创建一个名称为“fast-demo”的OBS桶。
备份管理 通过备份功能，您可定时备份系统中的所有作业、脚本、资源和环境变量。 通过还原功能，您可还原已备份的资产，包含作业、脚本、资源和环境变量。 约束限制 该功能依赖于OBS服务。 当前备份内容不会自动老化删除，您需要定期手动清理备份文件。 前提条件 已开通对象存储服务，并在OBS
文件格式介绍 在创建CDM作业时，有些场景下源端、目的端的作业参数中需要选择“文件格式”，这里分别介绍这几种文件格式的使用场景、子参数、公共参数、使用示例等。 CSV格式 JSON格式 二进制格式 文件格式的公共参数 文件格式问题解决方法 CSV格式 如果想要读取或写入某个CSV文件
配置OpenTSDB目的端参数 作业中目的连接为CloudTable OpenTSDB连接时，目的端作业参数如表1所示。 表1 OpenTSDB作为目的端时的作业参数 参数名 说明 取值样例 指标 可选参数，输入指标名称，或选择OpenTSDB中已存在的指标。 city.temp
配置环境变量 本章节主要介绍环境变量的配置和使用。 使用场景 配置作业参数，当某参数隶属于多个作业，可将此参数提取出来作为环境变量，环境变量支持导入和导出。 简单模式和企业模式下，配置工作空间的环境变量的角色有所不同： 简单模式：工作空间的环境变量开发者和管理员都能创建或编辑环境变量
MRS Hive数据连接参数说明 表1 MRS Hive数据连接 参数 是否必选 说明 数据连接类型 是 MRS Hive连接固定选择为MapReduce服务（MRS Hive）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签
MRS ClickHouse连接参数说明 连接MRS ClickHouse时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值） 使用Token认证时必选。
开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像，并且使用ECS自带的
配置MRS集群Hive分区表支持元数据采集 使用admin账户登录MRS服务的Manager页面。
本示例不涉及 - 数据服务开发人员数量是多少？ 本示例不涉及 - 父主题： 企业版：基于MRS Hive的出租车出行数据治理流程
查询任务完成情况 功能介绍 查询任务完成情况。包括今天，昨天以及近7天的平均任务完成情况。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/monitor/task-completion-data
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
