检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 否 String 消息体的类型(格式),有Body体的
Apache Kafka同步到MRS Kafka作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Kafka集群(2.7、3.x版本) Kafka集群(2.7、3.x版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使
导出作业 job exportPipeline/exportJob(api) 批量导出作业 job exportJobs(api) 提交作业版本 job addNewVersion 抢作业锁 job acquireEditLock 解作业锁 job releaseLock 批量解作业锁
那么作业会运行失败,故发现该问题为赋值数组下标设置错误导致,需重新设置。 图2 原有参数配置 解决方案 修改字段赋值为a[1],提交作业版本重新启动即可。 图3 设置目标表的赋值参数 父主题: 数据集成(实时作业)
String 开发环境版本,只读,ID字符串。 prod_version String 生产环境版本,只读,ID字符串。 dev_version_name String 开发环境版本名称,只读。。 prod_version_name String 生产环境版本名称,只读。。 env_type
Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航选择服务版本(例如:专享版),进入总览页。 单击左侧导航栏中的“审核中心”,进入相应页面后,选择“审核人管理”页签,然后单击“新建”按钮。 图1 新建审核人界面
、数据治理政策和数据治理平台的支撑。 图2 DataArts Studio各模块之间的示意图 DataArts Studio平台提供了上述各个功能模块,满足数据接入、数据建模、标准化、质量监控、数据服务等全流程的数据管理动作。 父主题: 数据治理框架
String 开发环境版本,只读,ID字符串。 prod_version String 生产环境版本,只读,ID字符串。 dev_version_name String 开发环境版本名称,只读。 prod_version_name String 生产环境版本名称,只读。 env_type
String 开发环境版本,只读,ID字符串。 prod_version String 生产环境版本,只读,ID字符串。 dev_version_name String 开发环境版本名称,只读。 prod_version_name String 生产环境版本名称,只读。 env_type
以及DLI的SQL基本语法。 本入门示例涉及DataArts Studio服务的管理中心和数据开发模块,DataArts Studio的各版本均可以满足使用要求。 如果您从未使用过DataArts Studio,您可以选择试用DataArts Studio,按照本示例进行入门试用。
及DWS SQL基本语法。 本入门示例涉及DataArts Studio数据集成、管理中心和数据开发模块,DataArts Studio各版本均可以满足使用要求。 操作流程如下: 准备工作,包括使用DataArts Studio前的准备、数据源准备、数据湖准备和认证数据准备。 创
CDM不同集群规格对应并发的作业数是多少? 是否支持增量迁移? 是否支持字段转换? Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 数据源为Hive时支持哪些数据格式? 是否支持同步作业到其他集群? 是否支持批量创建作业? 是否支持批量调度作业? 如何备份CDM作业?
作业配置重新导入到CDM前,需要手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 不支持集群自动升级到新版本,需要用户通过作业的导出和导入功能,实现升级到新版本。 在无OBS的场景下,CDM系统不会自动备份用户的作业配置,需要用户通过作业的导出功能进行备份。 如果配置了V
集成、开发、治理等能力。针对不同的使用场景,我们提供了不同的使用方案示例: 表1 快速入门案例定位 使用案例示例 所选数据湖底座 所需最低版本 业务能力 适用场景 免费版:基于DLI的电商BI报表数据开发流程 DLI 免费版 数据开发 对数据全生命周期管理的流程诉求较低,需要全托
符,不能包含中文字符。 MRS集群名 是 选择MRS集群名称。 说明: 单任务Flink Jar目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。 运行程序参数 否 配置作业运行参数。当选择了MRS集群名后,该参数才显示。 该参数为本次执行的作业配置相关优化参数
发布任务包 功能介绍 目前支持发布包管理中相关包的发布,支持发布多个任务包。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/release-packages/deploy 参数说明
等待运行实例同步作业版本策略 已生成的等待运行的作业实例,此时发布新的作业版本后,实例是否会使用最新的作业版本运行。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“等待运行实例同步作业版本策略”配置项。 配置等待运行实例同步作业版本策略。 是:等
String 开发环境版本,只读,ID字符串。 prod_version String 生产环境版本,只读,ID字符串。 dev_version_name String 开发环境版本名称,只读。 prod_version_name String 生产环境版本名称,只读。 env_type
导入脚本功能依赖于OBS服务,如无OBS服务,可从本地导入。 您可以在脚本目录中导入一个或多个脚本文件。导入会覆盖开发态的内容,并自动提交一个新版本。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制
是否是发布操作,true表示发布新版本,false表示普通的保存操作。 origin_name 否 String 修改前的模板名。 abnormal_table_template 否 String 异常表模板。 user_define_version_name 否 String 用户自定义版本名。 version_num