检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
流程设计示例 导出流程 您可以将数据架构中已创建的流程导出到文件中。 在数据架构控制台,单击左侧导航树中的“流程设计”,进入流程设计页面。 单击流程列表上方的“导出”按钮,等待几秒钟后,页面右上角提示“流程导出成功”,可以查看导出的流程。 “流程”作为层级联动性质, 导出均默认为全量导出
单击“关闭”。 导出 可通过导出的方式将原子指标导出到本地。 在原子指标列表选中待导出的指标。 在列表上方,单击“更多 > 导出”,即可将系统中的原子指标导出到本地。 在左侧主题树中选中某个主题,可以导出该主题下的所有原子指标; 当该空间下不超过5000条原子指标数据时可以全部导出。 函数说明
导入完成后,单击“关闭”完成资源的导入。 导出资源 当用户想要导出某个资源到本地时,可以参考如下操作导出该资源。 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 在资源目录中,单击,选择“导出资源”,系统开始下载资源到本地。 查看资源引用 当用户想要查看某个资源被
管理”。 单击“下载客户端”。“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”或“远端主机”,自定义文件保存路径后,单击“确定”开始生成客户端配置文件。 将生成的配置文件,保存到本地路径。 具体可参见MapReduce服务文档。 针对MRS 3.x版本集群: 登录FusionInsight
40 导入导出接口 表9 导入导出接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 导出资源 该接口用于数据质量导出操作,可通过该接口导出质量作业或者对账作业等属于数据质量服务的资源数据。 1800 20 获取导入导出的任务状态 该接口用于获取导出导入任务的进度状态。
参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。
参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。
包含字段分隔符的字段值 不使用包围符的时候,导出的CSV文件,数据会显示为: 3,hello,world,abc 如果使用包围符,导出的数据则为: 3,"hello,world",abc 如果数据库中的数据已经包含了双引号(""),那么使用包围符后,导出的CSV文件的包围符会是三个双引号(
单击“关闭”。 导出 可通过导出的方式将衍生指标导出到本地。 在衍生指标列表选中待导出的指标。 在列表上方,单击“更多 > 导出”,即可将系统中的衍生指标导出到本地。 在左侧主题树中选中某个主题,可以导出该主题下的所有衍生指标; 当该空间下不超过5000条衍生指标数据时可以全部导出。 父主题:
据作为字段列表样例,如果首行数据未包含该集合的所有字段,用户需要自己手工添加字段。 作业中源连接为MongoDB连接时,即从本地MongoDB或DDS导出数据时,源端作业参数如表1所示。 表1 MongoDB/DDS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适
包含字段分隔符的字段值 不使用包围符的时候,导出的CSV文件,数据会显示为: 3,hello,world,abc 如果使用包围符,导出的数据则为: 3,"hello,world",abc 如果数据库中的数据已经包含了双引号(""),那么使用包围符后,导出的CSV文件的包围符会是三个双引号(
查询作业列表清单。 300 30 查询作业详情 查询作业详情。 100 10 查询作业文件 查询作业文件。 100 10 导出作业 导出作业。 100 10 批量导出作业 批量导出作业。 100 10 导入作业 导入作业。 100 10 立即执行作业 立即执行作业。 300 30 启动作业 启动作业。
作业/脚本变更管理 作业/脚本的导入和导出 工作空间是否开启作业/脚本变更管理。 是:表示作业/脚本变化时记录变更事件,支持根据时间点增量导出和导入所有变化的作业/脚本。 否:表示作业/脚本变化时不记录变更事件,只支持选定作业/脚本的导出和导入。 Flink调试OBS桶 Flink
批作业监控场景下,在批作业监控页面,作业实例运行状态显示为“待确认执行”,可以进行手动确认执行,单击“确认执行”后,作业实例运行状态显示为“等待运行”。 事件驱动调度:根据外部条件触发作业运行,参数说明请参见表3。具体使用教程可参见跨空间进行作业调度。 是否空跑 如果勾选了空跑,任务不会实际执行,将直接返回成功。
质量作业”,单击“全部导出”。 图7 全部导出 在弹出“导出质量作业”对话框,单击“导出”。 图8 导出全部质量作业 切换到“导出记录”页签,可查看当前任务的导出结果。 图9 导出记录 在导出文件列表中,单击最新导出文件对应的“下载”,可将质量作业的Excel表格下载到本地。 导入质量作业
步”,配置Oracle连接参数: 名称:用户自定义连接名称,例如“oracle_link”。 数据库服务器地址、端口:配置为Oracle服务器的地址、端口。 数据库名称:选择要导出数据的Oracle数据库名称。 用户名、密码:Oracle数据库的登录用户名和密码,该用户需要拥有Oracle元数据的读取权限。
查看API发布信息(专享版) 查看API不同操作对应的实例信息(专享版) 查看API调试信息(专享版) 导入包含API信息的EXCEL文件 导出包含API信息的EXCEL文件 全量导出包含API的EXCEL压缩文件 下载EXCEL模板 父主题: 数据服务API
作业开发API 创建作业 修改作业 查询作业列表 查询作业详情 查询作业文件 导出作业 批量导出作业 导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题: 数据开发API(V1)
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适