检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用admin账户登录MRS Manager页面。 在Manager页面的“系统设置”中,单击“密码策略配置”,修改密码策略。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中,
附加字段,并通过“自动建表”能力在目的端DWS数据库中建出相应的表。 图8 源表与目标表映射 附加字段编辑:单击操作列“附加字段编辑”可为目的端的DWS表中增加自定义字段,同时附加字段也会额外加入到DWS表的建表中。用户可以在已有的源表字段基础上添加多个附加字段,并自定义字段名、选择字段类型、填写字段值。
该用户拥有DWS数据库的读、写和删除权限。 已获取Oracle数据库的IP、数据库名、用户名和密码。 如果Oracle数据库是在本地数据中心或第三方云上,需要确保Oracle可通过公网IP访问,或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。 已在CDM集群的“作业管理
附加字段,并通过“自动建表”能力在目的端DWS数据库中建出相应的表。 图10 源表与目标表映射 附加字段编辑:单击操作列“附加字段编辑”可为目的端的DWS表中增加自定义字段,同时附加字段也会额外加入到DWS表的建表中。用户可以在已有的源表字段基础上添加多个附加字段,并自定义字段名、选择字段类型、填写字段值。
附加字段,并通过“自动建表”能力在目的端DWS数据库中建出相应的表。 图7 源表与目标表映射 附加字段编辑:单击操作列“附加字段编辑”可为目的端的DWS表中增加自定义字段,同时附加字段也会额外加入到DWS表的建表中。用户可以在已有的源表字段基础上添加多个附加字段,并自定义字段名、选择字段类型、填写字段值。
使用admin账户登录MRS Manager页面。 在Manager页面的“系统设置”中,单击“密码策略配置”,修改密码策略。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中,
使用admin账户登录MRS Manager页面。 在Manager页面的“系统设置”中,单击“密码策略配置”,修改密码策略。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中,
使用admin账户登录MRS Manager页面。 在Manager页面的“系统设置”中,单击“密码策略配置”,修改密码策略。 “密码有效期(天)”配置为“0”,表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中,
中的表,Oracle连接中需要填写CDB库的用户名和密码,不能为PDB用户名和密码,因为Oracle日志统一在存储在CDB库中,同时Oracle logminer只能运行在CDB库中。 操作步骤 本小节以Oracle到MRS Hudi的实时同步为示例,介绍如何配置Migratio
分区数据量多的作业,在启动时list会非常耗时,可能导致作业启动超时,建议关闭。 hoodie.index.liststatus.optimized boolean false - 定位数据时是否开启liststatus优化。涉及到大表和分区数据量多的作业,在启动时list会非常耗时,可能导致作业启动超时,建议关闭。
分区数据量多的作业,在启动时list会非常耗时,可能导致作业启动超时,建议关闭。 hoodie.index.liststatus.optimized boolean false - 定位数据时是否开启liststatus优化。涉及到大表和分区数据量多的作业,在启动时list会非常耗时,可能导致作业启动超时,建议关闭。
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 表3 请求Body参数 参数 是否必选
是3个实例。 上游作业B与下游作业A在一天内,都是3个实例,则作业A与作业B一对一依赖。 所以作业A与作业B的依赖情况为: 作业A在3点的实例,依赖作业B在0点的实例;作业A在6点的实例,依赖作业B在8点的实例;作业A在8点的实例,依赖作业B在 16点的实例。 规则二:自然天内,
的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其他云服务所在的区域不一致时,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主
也请参照以下步骤完成新建: 在码表管理页面,在码表目录树中选择一个目录,然后在右侧单击“新建”按钮。 图12 码表管理 在新建码表页面中,请参考表3配置参数,然后单击“保存”。 图13 新建码表 参考步骤3.a~3.b,在供应商目录下创建供应商码表,在费率目录下创建费率码表。 图14
这里的删除作业可根据实际需要选择。由于DLF是通过周期创建CDM作业来实现增量迁移,因此会累积大量的作业在CDM集群上,所以可在迁移成功后,删除已经运行成功的作业。如果您需要删除,在查询CDM作业状态的节点后面,添加删除CDM作业的RestAPI节点即可,DLF会调用《云数据迁移API参考》中的“删除作业”接口。
输入新建API目录名称,可新建API目录。 对于已成功创建的API目录,在API目录上右键单击,可选择编辑或删除API目录。 配置API基本信息 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航选择服务版本(例如:专享版),进入总览页。
持自动创建目标表。这种情况下可以不提前在目的端数据库中预先创建目标表。 执行如下SQL语句,在demo_sdi_db数据库中,创建一个原始表,用于存储原始数据。 在本示例中,您可以参考以下任意一种方式在MRS Hive中创建数据表。 您可以在DataArts Studio数据开发
Hillary,Election,3,2000/11/28 12:57 在管理中心创建数据连接 在本示例中,我们需要将MySQL原始数据同步到MRS Hive中并按照GES图导入要求标准化,然后基于MRS Hive生成元数据。 因此在准备工作中,需要先在管理中心创建MRS连接。操作步骤如下: 参考访问DataArts
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 在“数据连接”页面,单击“创建数据连接”按钮。 图1 数据连接 在弹出窗口中,配置数据连接参数,完成配置后,单击“确定”完成数据连接的创建。参数配置如图2所示。