检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体迁移场景,请参见整库迁移支持的数据源类型。 本文介绍2.10.0.300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。
步骤3:数据开发处理 本步骤通过电影信息和评分信息的原始数据,分析评分最高的Top10电影和最活跃的Top10电影,然后通过作业定期调度执行并将结果每日导出到表中,以支撑信息分析。 创建DWS SQL脚本top_rating_movie(用于存放评分最高的Top10电影) 评分最
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 否 String 消息体的类型(格式),有Body
查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创建实时集成作业,选择对应数据连接和资源组进行连通性测试,详情请参考创建实时集成作业。
查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 测试网络连接。 在DataArts Studio工作空间下创建数据连接,并创建实时集成作业,选择对应数据连接和资源组进行连通性测试,详情请参考创建实时集成作业。
创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码,且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通,网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专
如“/blogs/188138”和“/blogs/0”均会匹配至/blogs/{blog_id},由此API统一处理。 此外,相同域名下,不允许重复的请求路径出现。路径参数作为通配符时,名称不具备唯一性,例如“/blogs/{blog_id}”和“/blogs/{xxxx}”,会被视作相同路径。
检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考数据源和资源组网络不通如何排查?章节进行排查。
检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异常可先参考数据源和资源组网络不通如何排查?章节进行排查。
OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥
在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。 删除 在参数值文本框后方,单击,删除作业参数。 常量 新增 单击“新增”,在文本框中填写作业常量的名称和参数值。 参数名称 名称只能包含字符:英文字母、数字、中划线和下划线。
CDM集群,请参考创建CDM集群进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据
选择跨字段级规则时,需要在计算范围中同时配置数据表和参考表。 跨源级规则目前只支持基于Hetu连接的MRS Hive和DWS之间的字段对比作业。 配置跨源级规则前,需要在MRS Hetu中创建MRS Hive数据源和GUASSDB数据源。详情请参考配置Hive数据源和配置GUASSDB数据源。 数据连接
在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。 删除 在参数值文本框后方,单击,删除作业参数。 常量 新增 单击“新增”,在文本框中填写作业常量的名称和参数值。 参数名称 名称只能包含字符:英文字母、数字、中划线和下划线。
买套餐包。 如果您希望享受套餐包的优惠价格,需要先购买一个“套餐包”增量包,再购买一个和套餐包具有相同区域和规格的“按需计费”增量包。 如果您先购买一个“按需计费”增量包,再购买一个相同区域和规格的“套餐包”增量包,则在购买套餐包之前已经产生的费用按“按需计费”计费,购买套餐包之后的费用按“套餐包”计费。
s Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作。然后进入到对应的工作空间,即可开始使用DataArts Studio。 数据源准备 本入门示例以某电商商城的BI报表数据为例,分析用户和商品的各种数据特征。 为方便演示,本示例提供了用于模拟原
法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewe
source_sdi节点:为CDM Job节点,通过CDM节点将OBS上的数据导入到MRS Hive的原始表中。其中CDM集群名称和作业名称分别选择在步骤3:数据集成中的集群和迁移作业(图中仅为示例,以实际集群名和迁移作业名为准)。 图8 source_sdi节点属性 demo_etl_sdi_dwi节点:为MRS
云账号的用户名、账号名和项目ID。 创建一个CDM集群,并获取集群ID。 获取方法:在集群管理界面,单击CDM集群名称可查看集群ID,例如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。 创建一个MySQL数据库和一个DWS数据库,并创建好表city1和表city2,创表语句如下:
法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewe