检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 Where子句 参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 Where子句 参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age
路径为准。 单击“确定”。 查看脚本执行的结果 选择“数据开发 > 下载中心”进入“下载中心”页面。 可以查看本地下载任务和异步转储任务的文件名、操作人,操作时间,操作类型,任务状态,OBS路径。 对于转储任务下载失败的记录可以查看记录。 单击“操作”列的,可以从OBS路径下载数据。
说明 API名称 支持中文、英文、数字、下划线,且只能以英文或中文开头,3-64个字符。 API目录 一个特定功能或场景的API集合,类似文件夹,指定当前API保存的位置,后续可以在指定的API目录中检索当前API。 API目录是数据服务中API的最小组织单元。您可以选择新建API目录已创建的目录。
数据集成提供同构/异构数据源之间批量数据迁移的服务,支持自建和云上的文件系统,以及关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成 支持的数据源 创建CDM集群 创建CDM与数据源之间的连接 新建表/文件迁移作业 数据目录(元数据采集) 为了在DataArts
String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体
主题信息。 您可以下载系统提供的主题设计模板,在模板文件中填写主题的相关参数后,使用模板批量导入主题信息。 您可以预先将某个DataArts Studio实例的数据架构中已建立的主题设计信息导出到Excel文件中。导出后的文件可用于导入。 建立好主题设计信息后,可以对主题信息进行查找、编辑或删除操作。
智慧税务、智慧园区等行业,帮助企业快速定制数据运营端到端解决方案。 统一数据资产管理 全局资产视图、快速查看、智能管理、数据溯源和数据开放共享,从业务视角管理和查看数据,定义业务架构、业务分类和业务术语,统一管理资产访问权限。 数据运营全场景可视 数据治理运营过程可视,拖拉拽配置
”和“显示当前作业及其直接上下游”。 视图右上角支持按节点名称进行搜索,搜索出来的作业节点高亮显示。 单击下载按钮,可以下载作业的依赖关系文件。 鼠标滚轮可放大、缩小关系图。 鼠标按住空白处,可自由拖拽用以查看完整关系图。 鼠标光标悬停在作业节点上,该作业节点会被标记为绿色,上游
DLI脱敏),或者写入失败报错(DWS脱敏)。 运行需要解析样本文件的静态脱敏任务时,样本文件大小建议不超过10MB,否则静态脱敏任务可能会失败。另外,OBS样本文件只能用于DLI引擎的静态脱敏任务,HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考:静态脱敏场景介绍。
更新:如果表已存在,更新已有的表信息。如果表处于“已发布”状态,表更新后,您需要重新发布表,才能使更新后的表生效。 上传模板 选择所需导入的文件。所需导入的文件,可以通过以下方式获得。 下载关系建模导入模板并填写模板 在“导入配置”页签内,单击“下载业务指标导入模板”下载模板,然后根据业务需求填写好模板中的相关参数并保存。
String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体
Migration作业需要根据DRS的同步位点启动作业,做到数据的续传、不漏数。 请联系DRS运维人员获取到DRS任务同步的安全位点(一个binlog文件名),联系MySQL数据库运维根据安全位点查询出当前DRS已同步binlog的时间戳,根据这个时间戳启动Migration作业。 在启动M
请至Postman官方网站下载。 约束与限制 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据服务API时,如果查询及返回数据的总时长超过默认60秒则会报超时错误。此时可通过访问日志中的API调
本章以Chrome浏览器为例,因此需要已安装Chrome浏览器。 约束与限制 如需在本地调用专享版API,则需在创建专享版集群时绑定一个弹性公网IP,作为实例的公网入口。共享版API默认可通过公网访问。 调用数据服务API时,如果查询及返回数据的总时长超过默认60秒则会报超时错误。此时可通过访问日志中的API调
Integer 总数。 success Integer 操作成功个数。 failed Integer 操作失败个数。 rate String 当前进度。 logs String 日志。 groups Array of BatchOperationVO objects 分组信息。 状态码:400
Integer 总数。 success Integer 操作成功个数。 failed Integer 操作失败个数。 rate String 当前进度。 logs String 日志。 groups Array of BatchOperationVO objects 分组信息。 状态码:400
> 失败策略”设置为“挂起当前作业执行计划”时,才可以执行该操作。 更多 > 强制成功 强制将状态为“运行异常”、“取消”、“失败”的实例变更为“成功”状态,当前实例状态显示为“强制成功”。 更多 > 暂停 可以对运行中的作业实例进行暂停操作。当作业运行中可以手动进行暂停操作。 说明:
如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC,选择和RDS的MySQL数据库实例所在
间-偏移量”。 TBL_X hive写入模式 选择hive的写入模式。 TRUNCATE+LOAD:TRUNCATE模式只清理分区下的数据文件,不删除分区。 LOAD:写入前不做任何处理。 LOAD_OVERWRITE:将生成一个临时目录,目录名为:表名_UUID,使用hive的load