检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业节点调度次数/天增量包 作业节点调度次数/天增量包提供对应的规格资源。 不同版本的DataArts Studio实例,提供了不同的作业节点调度次数/天规格限制。
备份成功后,在以“备份日期”命名的文件夹内,自动生成backup.json文件,该文件按照节点类型存储了作业信息,支持恢复作业前进行修改。 启动每日备份后,若想结束备份任务,您可以单击右边的“停止每日备份”。
flavor flavor object 节点的虚拟机规格,请参见flavor参数说明。 datastore Datastore object 集群信息,请参见datastore参数说明。 dbuser String 数据库用户,这里为cdm。
SQL脚本支持在脚本编辑器中直接输入参数(Flink SQL不支持),脚本独立执行时可通过编辑器下方配置,如图3所示;通过作业调度时可通过节点属性赋值,如图4所示。 Shell脚本可以配置参数和交互式参数以实现参数传递功能。
行模式 导入模式 导入数据到DWS时,用户可以指定导入模式: COPY模式,源数据经过管理节点后,复制到DWS的DataNode节点。 UPSERT模式,数据发生主键或唯一约束冲突时,更新除了主键和唯一约束列的其他列数据。
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam.cn-north-4.myhuaweicloud.com”。
pending_version 否 integer 当前节点版本。 script_id 否 String 脚本ID。 task_id 否 String 作业ID。 start_job_status 否 integer 作业启动状态。
如果设置为是,将对集群中的所有节点进行全部/部分数据清除操作。 是 where条件 “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60 父主题: 配置CDM作业目的端参数
丰富的数据开发类型 支持多人在线协作开发,脚本开发可支持SQL、Shell在线编辑、实时查询;作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。
开启GZIP压缩 否 开启gzip 压缩,使用的时候需要在es 节点上将配置http.compression设置为true。 数据源认证及其他功能配置 用户名 是 连接Elasticsearch的用户名。 密码 是 连接Elasticsearch的密码。
如何解决HANA集群只有部分节点和CDM集群网络互通? 如何使用Java调用CDM的Rest API创建数据迁移作业? 如何将云下内网或第三方云上的私网与CDM连通? CDM是否支持参数或者变量? CDM迁移作业的抽取并发数应该如何设置? CDM是否支持动态数据实时迁移功能?
免费版不支持购买增量包,例如无法购买批量数据迁移增量包或作业节点调度次数/天增量包。 免费版数据开发组件的脚本数和作业数的配额限制分别为20。 免费版仅用于试用场景,在业务负荷大的场景下,无法保证免费版实例上业务的正常运行。
parent_id 否 String 父目录ID,根节点没有此ID,空值为所有,-1为根节点下节点。ID字符串。
parent_id 否 String 父目录ID,根节点没有此ID,空值为所有,-1为根节点下节点。ID字符串。
FusionInsight HD和Apache Hadoop数据源约束 FusionInsight HD和Apache Hadoop数据源在用户本地数据中心部署时,由于读写Hadoop文件需要访问集群的所有节点,需要为每个节点都放通网络访问。
另外,“全部”根节点分类也不允许删除。 删除操作无法撤销,请谨慎操作。 编辑样本:在样本库管理页面,单击对应样本操作栏中的“编辑”,即可修改样本的各项参数。 删除样本:在样本库管理页面,单击对应样本操作栏中的“删除”,即可删除样本。 注意,被脱敏算法引用的样本不能被删除。
表3 请求Body参数 参数 是否必选 参数类型 描述 restart 是 restart object 集群重启操作,定义哪些集群节点需要重启,请参见restart参数说明。
数据开发作业配置了支持自动血缘的节点或手动配置节点的血缘关系后,作业执行时可以自动解析,在数据目录中展示数据血缘。 在“概要”页签,查看数据表的概要信息(当前仅支持DWS、DLI类型数据表查看概要,概要采样方式以元数据采集任务配置为准)。 单击“更新”,可更新概要信息。
parent 否 parent object 父节点。 parentId 否 String 父节点ID。 l1 否 Boolean 是否为L1层。主题域分组。 l2 否 Boolean 是否为L2层。主题域。 l3 否 Boolean 是否为L3层。业务对象。
obs_link OBS终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入OBS控制台概览页,单击桶名称后查看桶的基本信息获取。