检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明: 当绑定Agent选择的CDM集群为2.9.3.300及以下版本时,仅支持与安全模式集群的MRS Ranger创建连接。 如果需要与非安全模式集群的MRS Ranger创建连接,则需要确保CDM集群为2.10.0.300及以上版本,或联系客服或技术支持人员升级CDM集群中的dlg-agent组件版本。
安装单个服务的客户端,请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”,弹出“下载客户端”信息提示框。 MRS 3.3.0及之后版本,在Manager主页中直接单击“下载客户端”即可。 登录MRS控制台。 选择“MRS集群 > 现有集群”。 单击所需集群的名称进入
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
RS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 说明: 仅支持连接MRS 3.1.1及以上版本的MRS集群。 若需要连接MRS 3.2.1版本集群,则需通过HetuEngine WebUI界面,给计算实例添加如下自定义参数:参数名为“protocol
然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表
制定本领域数据治理的目标,工作计划和执行优先级。 建立数据治理责任机制,将本领域的数据治理工作分解到工作组成员,并跟进及管理工作组工作。 设计数据质量规格,承接数据需求,对数据问题及争议进行裁决。 建设和维护本领域信息架构。 建立和推动领域数据文化和氛围。 数据代表(Data Repres
的理解有误导致的。 如下图,月周期的作业依赖天周期的作业。为什么在天周期的作业还未跑完,月周期的作业已经开始运行? 图1 查看作业调度周期及依赖属性 解决方案 事实上,月周期的作业依赖天周期作业指的是当月的月周期作业是否运行取决于上月的天周期作业是否全部运行完成,而不是由当月的天周期作业决定。
然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表
支持的数据库版本 源端数据库 目的端数据库 SQLServer数据库(企业版2016、2017、2019、2022版本,标准版2016 SP2及以上版本、2017、2019、2022版本) MRS集群(3.2.0-LTS.x) Hudi版本(0.11.0) 数据库账号权限要求 在使用
可选择MRS Doris和CloudTable Doris。 MRS集群名 是 当选择MRS Doris时有效。 说明: 目前仅支持MRS 3.2.0及以上MRS集群版本。 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。
量参数及参数值。适用于当您希望把API的某个参数的取值固定为某个值以及要对调用者隐藏参数的场景。 API测试 完成API参数的配置并保存后,单击左下角的“开始测试”,可进入API测试环节。 填写参数值,单击“开始测试”,即可在线发送API请求,在右侧可以看到API请求详情及返回内容。
Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts
Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts
20.7及以上版本,支持多IP连接数据库服务器。 说明: 选择CLICKHOUSE_0_4_2驱动版本时,支持的timestamp数据的时间范围最小为1970-01-01 08:00:00。 CLICKHOUSE_0_4_2的驱动版本仅支持ClickHouse 20.7及以上的服务器版本。
在新建时间限定页面,参考表1配置参数,然后单击“发布”。 图2 时间限定 表1 新建时间限定参数说明 参数名称 说明 *限定名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。 *限定英文名称 只能包含英文字母、数字和下划线。 *时间配置 可选择“按年”、“按月”、“按日”、“按小时”或“按分钟”
示例演示如何访问发布的API。 您需要在数据服务控制台自行创建和发布一个API。创建及发布API的步骤请参见创建API和发布API章节。 示例API的后端为打桩的HTTP服务,此后端返回一个“200”响应码及“Congratulations, sdk demo is running”消息体。
为成员添加或删除所在的角色时,仅支持通用角色,暂不支持纳管角色。 成员的权限来自于角色/权限集,需要角色/权限集同步成功,成员的权限才会生效。 查看策略及详情 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“成员管理”,进入成员管理页面。
数据进行整合、清洗,并基于三范式进行关系建模。 物理模型设计时的考虑事项如下: 物理模型要确保业务需求及业务规则所要求的功能得到满足,性能得到保障。 物理模型要确保数据的一致性及数据的质量。 新业务或新功能增加时能够以较少的改动或不改动就能够满足需求的扩展。 维度建模需要基于维度
RS集群。代理连接方式支持MRS所有版本的集群。 MRS API连接:以MRS API的方式访问MRS集群。MRS API连接仅支持2.X及更高版本的MRS集群。 选择MRS API连接时,有以下约束: MRS API连接仅支持在数据开发组件使用,其他组件例如数据架构、数据质量、数据目录等无法使用此连接。
ON *.* TO '用户名'@'%'; 目标数据库连接账号 MRS用户需要拥有Hadoop和Hive组件的读写权限,建议参照下图所示角色及用户组配置MRS用户。 图1 MRS Hudi最小化权限 具体MRS集群角色权限管理请参考《MRS集群用户权限模型》。 建议创建单独用于Mi