检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
instance_id String 集群ID编号。 instance_type String 集群类型。 枚举值: DLM:数据服务集群 APIG:APIG类型集群 APIGW:APIGW类型集群 ROMA_APIC:ROMA类型集群 name String 集群名称。 action String
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域
通过代理连接的时候,此项可配置,通过勾选按钮来选择集群名模式或连接串模式。 使用集群名模式时通过选择填写集群名称进行连接配置。 使用连接串模式填写对应集群的IP和端口进行连接配置。 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以
工作空间(仅工作空间角色需要)。 cluster_type String 集群类型(仅集群角色需要), MRS, DWS, DLI。 cluster_id String 集群id(仅集群角色需要)。 cluster_name String 集群名称(仅集群角色需要)。 create_time Long 创建时间。
输入备注信息。 单击“CDM集群”,配置所选作业的CDM Job节点的CDM集群。 在左侧下拉框中选择待修改的CDM集群名称,右侧下拉框中选择要设置的CDM集群名称。 CDM集群迁移的前提是需要在新集群创建同名作业。 CDM作业同时配置两个CDM集群: 如果原集群选择其中一个时,迁移只影响其中一个集群,对另一个集群无影响。
当所连接的数据源发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 在驱动更新场景下,上传驱动后必须在CDM集群列表中重启集群才能更新生效。 单作业的抽取并发数取值范围为1-300,集群的总抽取并发数取值范围为1-1000。其中集群最大抽取并发数的设置与CDM集群规格有关,并发数上
解决方案 此类问题一般是由于用户不具备MRS集群操作权限导致的。 对于租户下新增的用户,需要在MRS集群列表的界面找到对应的MRS集群实例,手动单击同步。 操作如下: 进入MRS控制台,查看现有集群,单击对应的集群名称进入概览页。 图1 MRS集群实例 在“IAM用户同步”处,单击同步。
工作空间(仅工作空间角色需要)。 cluster_type String 集群类型(仅集群角色需要), MRS, DWS, DLI。 cluster_id String 集群id(仅集群角色需要)。 cluster_name String 集群名称(仅集群角色需要)。 create_time Long 创建时间。
选择连接模式。 使用集群名模式时,通过选择已有集群名称进行连接配置。 使用连接串模式时,手动填写对应集群的IP或域名、端口进行连接配置,且需打通本连接Agent(即CDM集群)和DWS集群之间的网络。 DWS集群名 是 “手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群,系统会显
也可以联系管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径,您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 linkConfig
CDM还提供了REST API,支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用云监控服务监控您的CDM集群,执行自动实时监控、告警和通知操作,帮助您更好地了解CDM集群的各项性能指标。 免运维 需要自行开发完善运维功能,自行保证系统可用性,尤其是告警及通知功能,否则只能人工值守。
迁移功能,请创建数据集成资源组增量包。 按需计费 套餐包 数据服务专享集群增量包 数据服务专享集群增量包对应数据服务专享版集群。创建一个数据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API
120 集群管理接口 表10 集群管理接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 查询集群概览信息列表 查询集群概览信息列表。 2400 120 查询集群详情信息列表 查询集群详情信息列表。 2400 120 查询集群详情信息 查询集群详情信息。
同步。若不需要节点名称和脚本名称同步,请参考禁用作业节点名称同步变化禁用该功能。 MRS集群名 是 选择MRS集群。 如需新建集群,请参考以下方法: 单击,进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明:
已开通MapReduce服务MRS,并创建MRS集群,为Hive SQL提供运行环境。 MRS集群创建时,组件要包含Hive。 已开通数据集成CDM,并创建CDM集群,为数据开发模块提供数据开发模块与MRS通信的代理。 CDM集群创建时,需要注意:虚拟私有云、子网、安全组与MRS集群保持一致,确保网络互通。
选择权限后,单击“下一步”设置授权范围。本例以默认选项为例,直接单击“确定”完成委托授权。 在MRS服务控制台,选择“集群列表 > 现有集群”,单击集群名进入待配置集群的详情页面。 在集群详情的概览页面,找到“运维管理”区域,确认集群已绑定MRS_ECS_DEFAULT_AGENCY委托。如果未绑定,需要手动选择M
Studio平台的数据底座。您需要先创建一个MRS安全集群(即开启“Kerberos认证”的MRS集群,安全性更强),具体操作请参见创建集群。 为确保MRS集群与DataArts Studio实例网络互通,MRS集群需满足如下要求: MRS集群必须包含Hive组件。 如需使用基于DataArts
Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群,CDM集群提供Agent。 说明: CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时,通过这些数据连接提交SQL脚
调测使用,数据服务专享版需要通过数据服务专享集群增量包创建集群后使用。 包年包月 计费详情请参见数据服务专享集群增量包价格详情。 公测期间的数据服务专享集群将转为收费集群,宽限期内充值只能选择包周期,充值后不存在宽限期。超过宽限期后集群状态转为冻结期。 说明: 数据服务专享版在每个DataArts
用该特性,请联系客服或技术支持人员。 基础与网络连通配置 是否使用集群配置 是 此参数用于选择用户已经创建好的集群配置。 您可以通过使用集群配置,简化Hadoop连接参数配置。默认:关闭。 URI 是 是否使用集群配置开关打开时显示该参数。 表示NameNode URI地址。可以