检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
各数据源所用端口不尽相同,可参考数据源安全组应放通哪些端口可满足Migration访问?进行安全组规则端口配置。 (可选)本地IDC配置VPN对端网关设备。 本地IDC网络采用不同类型的防火墙或主机,可参考《虚拟专用网络快速入门》中的配置对端设备章节实现本地IDC数据库所在网络和华为云
要访问其他项目或企业项目的MRS集群,则需要获取MRS Manager的浮动IP地址并手动输入,并确保已打通本连接Agent(即CDM集群)和MRS租户面集群之间的网络。Manager的浮动IP地址可通过登录MRS集群主Master节点获取,执行ifconfig命令,回显中eth0:wsom的IP就是MRS
并确保已参考MRS Ranger数据连接参数说明填写正确的RangerAdmin业务IP和Ranger服务端口。 在管理中心测试Ranger数据连接时,不会校验Ranger业务IP和服务端口,即使填写错误也不会提示,因此建议进行人工检查。 已开启对应MRS集群的Ranger鉴权功
Each节点和CDM节点,配合作业参数,实现批量创建分表迁移作业。 基于MRS Hive表构建图数据并自动导入GES 在DataArts Studio中,您可以将原始数据表按照GES数据导入要求处理为标准点数据集和边数据集,并通过自动生成元数据功能,将图数据(点数据集、边数据集和元数据
Oracle数据源如何开通归档日志、查询权限和日志解析权限? 问题描述 Oracle数据源默认权限无法正常执行实时处理集成作业。 原因分析 Oracle库需要开启归档日志,归档日志建议至少保留三天。 Oracle表没有表查询权限和日志解析权限。 解决方案 开启归档日志。 以sysdba身份登录Oracle数据库。
如果使用企业模式,您还需要注意以下事项: 由于企业模式下需要区分开发环境和生产环境,因此您需要分别准备对应生产环境和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Stud
- 后端数据源 输入后端数据库的类型,当前仅支持MYSQL。 MYSQL 数据源列表 输入后端数据库的IP、端口、数据库名称、账户名、密码,以“:”隔开。即ip:port:dbs:username:password,其中username:password可以不填,此时以“用户名”、“密码”配置为准。
CDM迁移近一个月的数据 备HBase集群中约10TB数据,最近一个月新增的数据量约60TB,总共约70TB。H公司安装的云专线为20GE端口,支持CDM超大规格的集群(cdm.xlarge),综合考虑迁移时间、成本、性能等,这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。
通过对泄露数据文件解封,根据数据文件的完整度和水印信息痕迹来检测水印是否存在,快速识别水印标记信息(数据源地址、分发单位、负责人、分发时间等),从而对安全事件精准定位追责。 数据水印使用流程 您可以通过图1来了解。 图1 水印使用流程 约束与限制 当前数据水印任务仅支持MRS Hive和MRS Doris数据源。
实例”,获取FE角色的管理IP。 端口 是 Doris FE通过mysql协议查询连接端口。 MRS Doris获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Doris > 配置 > 基础配置”,搜索“query_port”查看端口值。 KMS密钥
通服务。 用户只需要通过可视化界面对数据源和迁移任务进行配置,服务会对数据源和任务进行全面的管理和维护,用户只需关注数据迁移的具体逻辑,而不用关心环境等问题,极大降低了开发维护成本。 CDM还提供了REST API,支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以
6物理服务器或者私有云、公有云平台上的虚拟机迁移到华为云弹性云服务器上,从而帮助您轻松地把服务器上的应用和数据迁移到华为云。更多详情请参见主机迁移服务。 主机迁移服务 SMS 是一种P2V/V2V迁移服务,可以把X86物理服务器、私有云或公有云平台上的虚拟机迁移到华为ECS上。 什么是数据库和应用迁移(UGO)?
b05ccc4 CertUtil: -hashfile 命令成功完成。 对比所下载JAR包的SHA256值和下面JAR包的SHA256值。如果一致,则表示下载过程不存在篡改和丢包。 SHA256值:0859965cb007c51f0d9ddaf7c964604eb27c39e2f
创建新HBase表时采用的压缩算法,支持SNAPPY和GZ算法,默认为“NONE”。 toJobConfig.writeToWAL 否 Boolean 选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。
在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的API,并单击API名称查看API的完整信息,保存调用地址、请求方法和入参信息。 调用地址:专享版支持内网地址和外网地址(外网地址需要您在创建集群时绑定弹性IP),如果需
Broker连接地址视做域名不断进行解析,导致性能消耗。建议修改CDM集群对应的ECS主机(通过集群IP查找对应的ECS主机)中的“/etc/hosts”文件,为其添加Broker连接地址的自映射,以便客户端能够快速解析实例的Broker。例如Kafka Broker地址配置为10.154
String 连接Apache Hadoop时的Namenode URI地址,格式为“ip:port” linkConfig.hiveMsUris 否 String 连接Apache Hadoop时的Hive元数据地址,参考 hive.metastore.uris配置项。例如:thri
创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码,且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通,网络互通需满足如下条件: CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Lon
Kafka 连接需配置此参数。Kafka broker列表,格式如:“host1:port1,host2:port2”。 llinkConfig.host 是 String MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。