检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否 Integer 增量作业更新行数,已废弃。 group_name 否 String 组名。 bytes_read 否 Long 作业读取的字节。由系统生成,用户无需填写。 execute_update_date 否 Long 最近一次执行任务更新时间,单位:毫秒。由系统生成,用户无需填写。
以下是Windows下生成.csv文件的办法之一: 使用文本编辑工具(例如记事本等)新建一个txt文档,将后文提供的样例数据复制进文档中。注意复制后检查数据的行数及数据分行的正确性(注意,如果是从PDF文档中复制样例数据,单行的数据过长时会产生换行,需手动重新调整为单行)。 单击“文件 >
update_by String 更新人,只读。 create_time String 创建时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 update_time String 更新时间,只读,格式
业项目。 新建MRS hive连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。 图1 选择连接器类型 连接器类型选择“MRS Hive”后单击“下一步”,配置MRS Hive连接的参数,如图2所示。 图2
建议创建单独用于Migration任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请同步修改管理中心对应的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路
查看数据表 调测并保存作业 作业配置完成后,请执行以下操作: 单击画布上方的运行按钮,运行作业。 用户可以查看该作业的运行日志,单击“查看日志”可以进入查看日志界面查看日志的详细信息记录。 运行完成后,单击画布上方的保存按钮,保存作业的配置信息。 保存后,在右侧的版本里面,会自动生成一个
否 Integer 增量作业更新行数,已废弃。 group_name 否 String 组名。 bytes_read 否 Long 作业读取的字节。由系统生成,用户无需填写。 execute_update_date 否 Long 最近一次执行任务更新时间,单位:毫秒。由系统生成,用户无需填写。
的脚本/MyBatis方式API,系统将默认赋值返回量。如果需要获取特定分页数据,您可以修改如下参数设置分页,其中pageSize表示分页后的页面大小,pageNum表示页码。 图6 分页参数设置 自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中,因此不支持在调用时修改分页设置。
不支持变更自动同步。即数据架构处的主题或主题层级变更并发布后,需要手动再次单击才能同步到主题目录。 特殊的,数据架构处的主题或主题层级删除后,手动同步后目录不会删除,仅去除主题目录属性,作为普通目录进行展示。 完成同步后,若有同步失败的主题,系统会自动弹出同步结果明细,可查看同步失败的主题名称。
A256值。如果一致,则表示下载过程不存在篡改和丢包。 生成认证信息 解压SDK包,双击打开其中的“demo.html”文件,输入如下参数后,单击“Send request”查看返回值。 Key、Secret:API授权应用的AppKey和AppSecret,可参考获取APP和API信息获取。
目标数据库多的列要求非空且没有默认值,源数据库insert数据,同步到目标数据库后多的列为null,不符合目标数据库要求。 目标数据库多的列设置固定默认值,且有唯一约束。源数据库insert多条数据后,同步到目标数据库后多的列为固定默认值,不符合目标数据库要求。 Migration自动建表
另外,工作空间最多支持添加20个标签,标签的键名不能重复,一个“标签键”只能添加一个对应“标签值”。 配置完成后,单击“确定”完成工作空间的创建。 相关操作 禁用工作空间:工作空间创建成功后,默认为启用状态。如果您不再需要某个工作空间,可以将工作空间禁用,以后仍可以将其重新启用。 在“空间
*任务名称 嵌入水印任务的名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1~64个字符。 为便于水印嵌入任务管理,建议名称中标明要嵌入水印的对象和水印标识。 描述 为更好地识别嵌入水印任务,此处加以描述信息。 *水印标识 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。
另外,工作空间最多支持添加20个标签,标签的键名不能重复,一个“标签键”只能添加一个对应“标签值”。 配置完成后,单击“确定”完成工作空间的创建。 相关操作 禁用工作空间:工作空间创建成功后,默认为启用状态。如果您不再需要某个工作空间,可以将工作空间禁用,以后仍可以将其重新启用。 在“空间
标签。 关联质量规则 完成表的新建后,您可以在表中为字段关联质量规则,完成关联后,当表发布成功后,就会在DataArts Studio数据质量中自动创建质量作业,如果当前表已经发布,则系统会自动更新质量作业。有关关联质量规则的更多信息,请参见关联质量规则。 单击“下一步”,进入“关系”标签页,本示例不涉及。
图2 集群管理 进入作业管理后,选择“连接管理”。 图3 连接管理 创建两个连接,一个源连接OBS连接,用于读取存储在OBS上的原始数据,一个目的连接MRS Hive连接,用于将数据写入MRS Hive数据库中。 单击“新建连接”,进入相应页面后,选择连接器类型“对象存储服务(
LIST<STRING> 需要执行的动作。 枚举值: start-import: 开始导入 skip_exist 否 Boolean 是否需要覆盖更新已有的主题。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM T
Number 数据连接创建时间,时间戳。 dw_catagory String 数据连接类别。 update_type Integer 0:创建 1:更新,默认为0。 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_msg String 返回的错误信息。 error_code
标签。 关联质量规则 完成表的新建后,您可以在表中为字段关联质量规则,完成关联后,当表发布成功后,就会在DataArts Studio数据质量中自动创建质量作业,如果当前表已经发布,则系统会自动更新质量作业。有关关联质量规则的更多信息,请参见关联质量规则。 单击“下一步”,进入“关系”标签页,本示例不涉及。
AY(天),MONTH(月),YEAR(年)。 其中MONTH(月),YEAR(年)的偏移量类型存在特殊场景: 对于年、月来说,若进行偏移后实际没有该日期,则按照日历取该月最大的日期。 不支持在源端和目的端的“时间过滤”参数中的起始时间、终止时间使用年、月的偏移。 例如当前日期为"2023-03-01