检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图11 任务配置 单击“显示高级属性”,可配置“抽取并发数”以及“是否写入脏数据”,如图12所示。 抽取并发数:您可以根据业务量进行配置。数据源端如果是文件类型,当有多个文件时,增大并发数可以提升抽取速率。 是否写入脏数据:建议配置为“是”,然后参考图12配置相关参数。
免费版数据开发组件的脚本数和作业数的配额限制分别为20。 免费版仅用于试用场景,在业务负荷大的场景下,无法保证免费版实例上业务的正常运行。 免费版不支持通过API调用的方式使用,仅支持控制台方式使用。 免费版受成本、资源等因素限制,提供的总数量有限。
抽取并发数:设置同时执行的抽取任务数。可适当调大参数,提升迁移效率。 是否写入脏数据:表到表的迁移容易出现脏数据,建议配置脏数据归档。 作业运行完是否删除:这里保持默认值“不删除”。 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。
枚举值: SQL:SQL取数方式 ROW_KEY:ROW_KEY取数方式 仅适用于HBASE PREFIX_FILTER:PREFIX_FILTER取数方式仅适用于HBASE access_type String 取数方式(已弃用)。
limit 否 Integer 分页返回结果,指定每页最大记录数。默认值为100,取值范围为[1, 1000] 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。
limit 否 Integer 分页返回结果,指定每页最大记录数。范围[1,1000] 默认值:10 jobName 否 String 作业名称 tags 否 String 作业标签列表,如果有多个标签,以英文逗号分隔。例如:tag1,tag2,tag3。
catalog_total Integer 子目录数。 api_total Integer API数。 description String 描述。 create_time Long 创建时间。 create_user String 创建者。
从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。 每小时 单行提交次数 配置需要单次提交的大小。 10000 重试次数 单次请求失败重试次数,最大限制重试次数10次。 3 父主题: 配置作业目的端参数
write_rows 否 Integer 增量作业写入行数,已废弃。 rows_written 否 Integer 作业写入的行数。由系统生成,用户无需填写。 rows_read 否 Long 作业读取的行数。由系统生成,用户无需填写。
write_rows 否 Integer 增量作业写入行数,已废弃。 rows_written 否 Integer 作业写入的行数。由系统生成,用户无需填写。 rows_read 否 Long 作业读取的行数。由系统生成,用户无需填写。
从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。 每小时 父主题: 配置CDM作业目的端参数
多并发抽取/写入速率,定义为分别取作业抽取并发数为1、10、20、30、50时,最大的抽取/写入速率。 数据源抽取写入性能实测数据 常见数据源的性能实测结果分别如表1和表2所示。
false, "create_time" : 1661412950486, "creator" : "ei", "result_description" : "row : ${1}" }, { "id" : 1, "name" : "表行数"
配置好API基本信息后,单击“下一步”,即可进入API取数逻辑页面。 配置取数逻辑 “取数方式”选择“配置方式”: 选择数据源、数据连接、数据库和数据表,获取到需要配置的表。 数据服务仅支持部分数据源,详情请参见DataArts Studio支持的数据源。
limit 否 Integer 分页返回结果,指定每页最大记录数,范围[1,100]。 默认值:10。 offset 否 Integer 分页的起始页,默认值为0。取值范围大于等于0。 scriptName 否 String 脚本名称。
#{DateUtil.format(DateUtil.addHours(Job.planTime,-1),"yyyy-MM-dd HH")} Date addMinutes(Date date, int amount) 给date添加指定分钟数后,返回新Date对象,amount可以是负数
抽取并发数:设置同时执行的抽取任务数,适当的抽取并发数可以提升迁移效率,配置原则请参见性能调优。这里保持默认值“1”。
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total_count Integer 当前数据库中表的记录数。 tables Array of TablesList objects 表的列表。
size 否 Integer 分页返回结果,指定每页最大记录数。默认值:10。 start_date 否 Long 查询作业的开始日期,13位时间戳。 end_date 否 Long 查询作业的结束日期,13位时间戳。
Cdm.1119 列族数%s和列数%s不等。 请将列族数和列数改为一致后再重试。 Cdm.1120 表中有数据,请清空表数据或重新设置导入前是否清空表数据配置项。 请按照错误提示进行处理。 Cdm.1121 关闭连接已失败。原因:%s。