检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提升调用效率。 约束与限制 仅3.0.6及以上版本的数据服务专享版集群支持API编排。 API工作流发布前,需确保其中的普通API均已处于已发布状态。 算子和工作流简介 在API工作流编排页面,您可以自由拖拽各类算子到画布中,然后基于特定的业务逻辑和流程通过连线编排工作流,最后配
CDM迁移作业时,需确保两个集群版本的JSON文件格式保持一致,才可以从将源集群的作业导入到目标集群。 作业运行过程中,任务异常中断,目标端已写入的部分数据不会清理,需手动清理。 单文件传输大小不超过1TB。 数据库迁移通用限制和约束 CDM以批量迁移为主,仅支持有限的数据库增量迁
节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 服务 是 选择需要开机/关机的服务: ECS CDM 开关机设置 是 选择开关机类型: 开 关 开关机对象 是 选择需要开机/关机的具体对象,例如开启某个CDM集群。 表2 高级参数
目前数据集成集群支持以下部分规格供用户选择: cdm.large:大规格,8核CPU、16G内存的虚拟机,最大带宽/基准带宽为3/0.8 Gbps,集群作业并发数上限为16。 cdm.xlarge:超大规格,16核CPU、32G内存的虚拟机,最大带宽/基准带宽为10/4 Gbps,集群作业并发数上限为32,适
Flink程序执行的关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 否 选择已创建好的MRS资源队列。 需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 Flink作业资源包
单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil
前提条件 已新增Shell脚本,请参见新建脚本。 已新建主机连接,该Linux主机用于执行Shell脚本,请参见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/et
于记忆、区分的连接名。 kafka_link Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2
驱动文件 是 “驱动文件来源”选择“本地文件”时配置。 驱动文件请根据驱动类型去相关官网上下载,并在选择弹窗中上传驱动,或在该弹窗中指定已上传的驱动文件。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。
不同版本的DataArts Studio实例的规格请参见版本规格说明。 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 您可以在DataArts Studio实例卡片上,通过“更多 > 配额使用量”,查看当前实例的配额使用量。也支持可以在空间管理处,通过对应空间的“操作
SOFTLY:一般重启。 默认值为“IMMEDIATELY”。强制重启业务进程会中断,并重启集群的虚拟机。 restartLevel 否 String 重启级别: SERVICE:重启服务。 VM:重启虚拟机。 默认值为“SERVICE”。 type 是 String 集群节点类型,只支持“cdm”。
CdmQueryClusterInstanceDetail 参数 参数类型 描述 configurationStatus String 节点配置状态: In-Sync:配置已同步。 Applying:配置中。 Sync-Failure:配置失败。 paramsGroupId String 配置ID。 type String
数据库中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应。 实时处理集成作业功能当前在北京四、上海一、广州已上线(其他region后续会逐步放开,敬请期待!),但需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 功能概述 数据集成
调用创建资源的API报错“资源名不合法”是什么原因? 补数据的作业实例都是成功的,为什么补数据任务失败了? DWS数据连接可视化建表,报错提示“表已存在”,但是展开数据连接看不到该表? 调度MRS spark作业报错“The throttling threshold has been reached:
配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 配置作业参数 单击编辑器右侧的“参数”,展开配置页面,配置如表4所示的参数。 表4 作业参数配置 功能 说明 变量 新增 单击
单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil
服务专享集群增量包。 背景信息 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 购买数据服务专享集群 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,参见表1进行配置。 表1 购买数据服务专享版实例参数说明
创建工作空间模式前,您需要先了解以下内容: 已了解简单模式与企业模式工作空间的区别,包括不同工作空间的开发流程等差异,详情请参见简单模式与企业模式介绍。 已配置空间级的身份调度,包含公共委托和公共IAM账号,详情请参见配置公共委托和配置公共IAM账号。 已准备好两套相互隔离的数据湖引擎,用于隔离开发和生产环境。
内且企业项目相同的MRS集群,如果需要访问其他项目或企业项目的MRS集群,则需要获取MRS Manager的浮动IP地址并手动输入,并确保已打通本连接Agent(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执
开发并执行用于创建数据表的SQL脚本,从而创建数据表。 本章节以可视化模式和DDL模式为例,介绍如何在数据开发模块新建数据表。 前提条件 已创建数据库及DWS数据库模式,请参见新建数据库和(可选)新建数据库模式。 已在数据开发模块中创建与数据表类型匹配的数据连接,请参见新建数据连接。