检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
l文件的形式导出API。 图3 导出API 打开下载到本地的Excel文件,可以查看导出的API。不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图4 Excel文件样式 导入API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
是否必选 类型 说明 toJobConfig.index 是 String 写入数据的索引,类似关系数据库中的数据库名称。 toJobConfig.type 是 String 写入数据的类型,类似关系数据库中的表名。 toJobConfig.shouldClearType 否 Boolean
Elasticsearch/云搜索服务作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 索引 Elasticsearch的索引,类似关系数据库中的数据库名称。索引名称只能全部小写,不能有大写。 index 类型 Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点 一个或者多个节点的地址,以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。 9042
写入表数据时,用户选择的操作: DO_NOTHING:不自动建表。 CREATE_WHEN_NOT_EXIST:当目的端的数据库没有“tableName”参数中指定的表时,CDM会自动创建该表。 DROP_AND_CREATE:先删除“tableName”参数中指定的表,然后再重新创建该表。
通过不同方式调用API 调用API方式简介 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 通过API工具调用IAM认证方式的API 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 父主题: 调用数据服务API
从Kafka拉取数据时的初始偏移量: 最新:最大偏移量,即拉取最新的数据。 最早:最小偏移量,即拉取最早的数据。 已提交:拉取已提交的数据。 时间范围:拉取时间范围内的数据。 最新 抽取数据最大运行时间 持续拉取数据时间。如天调度作业,根据每天topic产生的数据量,配置足够的拉取时间。单位:分钟。
{"namePrefix":"test"} 每次拉取的数量 每次拉取的数量。 是 1000 分页大小参数名称 分页大小参数名称。 默认会放到query参数中,它的值为每次拉取的数量。 如果body参数中包含此参数名,则会将它的值替换为每次拉取的数量。 是 pageSize 分页页码参数名称
此处以批量修改信息架构为例,展示如下: 在DataArts Studio数据架构控制台,单击左侧导航栏中的“信息架构”。 进入后,在页面选择所需要批量修改主题的项,单击“更多 > 修改主题”,可以将选中的项更改到其它主题。配置完成单击“确定”。 图1 批量修改主题 批量修改目录 当前仅支持码表管理、数据标准进行批量修改目录操作。
DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail
支持从DLI导出数据。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail
index 是 String 抽取数据的索引,类似关系数据库中的数据库名称。 fromJobConfig.type 是 String 抽取数据的类型,类似关系数据库中的表名。 fromJobConfig.columnList 否 String 需要抽取的字段列表,字段名之间使用“&”分隔,例如:“id&gid&name”。
Client作为源端时的作业参数 参数 说明 取值样例 数据请求地址 数据请求的地址。 /data/query 请求方法 请求方法,GET/POST。 GET 请求体 请求方法为POST时显示该参数。 请求体,json格式。 是 {"namePrefix":"test"} 每次拉取的数量 每次拉取的数量。
查询指定时间段内的告警通知记录。 100 10 发布任务包 目前支持发布包管理中相关包的发布,支持发布多个任务包。 100 10 撤销任务包 目前支持发布包管理中相关包的撤销,支持撤销多个任务包。 100 10 查询实例运行状态 查询实例运行状态,包括当天、昨天、前天以及近7天的实例状态情况。
表1 OpenTSDB作为源端时的作业参数 参数名 说明 取值样例 开始时间 查询的起始时间,格式为yyyyMMddHHmmdd的字符串或时间戳。 20180920145505 结束时间 可选参数,查询的终止时间,格式为yyyyMMddHHmmdd的字串或时间戳。 20180921145505
Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。 sumer-group 消费记录策略 消费record策略。 起止时间:根据kafka record元数据TIMESTAMP判断,抽取的record是否符合填入的起止时间范围。当消费到的record到达结束时间,则终止抽取任务
删除权限集 更新权限集 添加权限集成员 查询权限集成员列表 批量删除权限集成员 添加权限集的权限 查询权限集的权限列表 删除权限集的权限 更新权限集的权限 查询数据源可配置权限 查询权限集中配置的url信息 查询数据操作信息 父主题: 数据安全API
所示。 表1 OpenTSDB作为目的端时的作业参数 参数名 说明 取值样例 指标 可选参数,输入指标名称,或选择OpenTSDB中已存在的指标。 city.temp 时间 可选参数,记录数据的时间点,格式为yyyyMMddHHmmdd的字符串或时间戳。 1598870800 标记
String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 fromJobConfig.columnList 否 String 需要抽取的字段列表,字段名之间使用“&”分割,例如:“id&gid&name”。
encryption”(加密方式)选择“AES-256-GCM”时有该参数,密钥由长度64的十六进制数组成。 请您牢记这里配置的密钥,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 toJobConfig.iv 否 String 初始化向量,“toJobConfig