检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接。 连接成功后,需要在Edge上分别添加源端MRS HBase凭证和目的端MRS HBase凭证,类型选择“大数据-HBase”,认证方式选择“用户名/密钥”。凭证的添加方法请参考添加资源凭证。其中用户名输入HBase客户端登录用户名,密钥需要上传以下配置文件: 非安全集群(未
表2 HBase连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。 HBase凭证 选择在Edge添加的源端HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。 安全集群
创建目的端统计任务时,选择目的端Doris连接。 HBase连接 HBase组件和CloudTable(HBase)组件配置参数。 创建源端统计任务时,选择源端HBase连接。 创建目的端统计任务时,选择目的端HBase或CloudTable(HBase)连接。 ClickHouse连接 C
填写目的端Doris数据库名称。 表2 HBase组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。 HBase凭证 选择在Edge添加的目的端HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。
需要在安装Edge的主机上配置/etc/hosts后,HBase元数据连接才能连接成功。host文件的获取方法请参见准备开发和运行环境。 HBase凭证 选择在Edge添加的HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。 安全集群 选择是否部署在安全集群下。
址”。 表3 CloudTable(HBase)服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“CloudTable-HBase-4位随机数(字母和数字)”,也可以自定义名称。 CloudTable(HBase)凭证 非安全集群,无需凭证。 安全集群
MgC自定义策略 如果系统预置的MgC权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板
支持的源端、目的端组件 源端组件 目的端组件 Hive Hbase Doris MaxCompute ClickHouse Delta Lake Hudi Hive DLI MRS(Doris) MRS(Hbase) MRS(ClickHouse) CloudTable(ClickHouse)
MongoDB采集器(app-discovery-mongodb) 采集MongoDB服务信息,获取客户端连接信息。参数配置说明参见表1。 表1 MongoDB采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-mongodb-xxx
MySQL-generallog采集器(app-discovery-mysql-generallog) 通过MySQL的general-log日志,采集客户端host和port信息。参数配置说明参见表1。 表1 MySQL-generallog采集器参数配置说明 参数 必选 配置说明 output_path
端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接 阿里云云数据库ClickHouse连接
(默认为False)如果设置为True,则将禁用SSL。如果未指定证书,则此选项无效。 ca 是 CA证书文件的路径。 cert 是 客户端证书文件的路径。 key 是 客户端私钥文件的路径。 cipher 否 要使用的加密算法。 check_hostname 否 如果设置为True,则在SSL
Redis采集器(app-discovery-redis) 通过连接到Redis节点,获取Redis节点IP、版本、连接客户端IP信息。参数配置说明参见表1。 表1 Redis采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-redis-xxx
证的对应参数框。 获取租户ID、客户端(应用)ID和密钥 登录Azure控制台,进入主页。 在搜索框中输入“应用注册”,选择“应用注册”服务,进入应用注册页面。 选择所有应用程序页签,单击应用程序名称,进入该应用的概述页面。在概要区域可以获取客户端(应用)ID和租户ID。 在左侧
MRS Hive/CDH/EMR迁移至MRS Hive数据校验 MaxCompute迁移至MRS Hive数据校验 MRS HBase迁移至MRS HBase数据校验 DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 DeltaLake(无元数据)迁移至MRS
华为云主机规格,帮助用户一站式大批量发起迁移任务。 主机跨可用区迁移 迁移中心支持AZ间迁移场景,并提供AZ迁移工作流模板,帮助您高效、可视化的完成AZ间的资源迁移和业务切换。 存储迁移 通过独立专享迁移集群以及配置迁移专线,简单、快捷实现对象存储、文件存储一站式上云,提升上云效率。
用户名/密码 输入登录Doris数据库的用户名、密码。 大数据-HBase 用户名/密钥 非安全集群需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml和hbase-site.xml等5个文件。 安全集群需要上传core-site
7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql 客户端,进行sql操作,出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时,由于分布式计算顺序的不确定性,可能会导致计
迁移中心支持多种类的资源采集,包括:云平台、主机、数据库、容器、中间件等。并且可以对采集到的主机、数据库、存储等信息进行调研评估,为用户上云提供配置推荐和方案设计。 可视化管理 为了让用户对迁移进度一目了然,迁移中心提供一站式工作流管理迁移进度,用户可实时管理和监测整个迁移过程。 数据安全 数据采集 迁移中心
在Edge添加凭证时,填写的用户名要与此处下载的凭证对应。 在页面上方菜单栏选择“集群>Hive”,进入Hive概览页,单击右上角“更多>下载客户端”,弹出下载客户端窗口。 客户端类型选择“仅配置文件”,单击“确定”按钮。 将下载的文件包解压,在/Hive/config文件夹下可以获取core-site