检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令，获取Flink集群container信息。
cd 客户端安装目录 source bigdata_env kinit Hive业务用户（如果集群未开启Kerberos认证，请跳过该操作） 执行以下命令登录Hive客户端。 beeline Hudi表查询。
source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证，执行kinit命令认证当前用户。如果集群未开启Kerberos认证，直接执行4。
图1 Hadoop数据迁移示意 方案优势 简单易用：免编程，向导式任务开发界面，通过简单配置几分钟即可完成迁移任务开发。 迁移效率高： 基于分布式计算框架进行数据任务执行和数据传输优化，并针对特定数据源写入做了专项优化，迁移效率高。
参数 参数说明 storage_configuration.disks.obs_cache.type 固定值：cache storage_configuration.disks.obs_cache.path 本地盘缓存路径，例如：/srv/BigData/data1/clickhouse
partition(country='CN') VALUES(1,'maxwell',45),(2,'minwell',30),(3,'mike',22); INSERT INTO TABLE test.usr partition(country='USA') VALUES(4,'minbin
HDFS HA架构 HA即为High Availability，用于解决NameNode单点故障问题，该特性通过主备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而不间断对外提供服务。
默认保存目录为“数据存放路径/LocalBackup/”，例如“/srv/BigData/LocalBackup”。 选择此参数值，还需要配置“最大备份数”，表示备份目录中可保留的备份文件集数量。 “LocalHDFS”：表示将备份文件保存在当前集群的HDFS目录。
以客户端安装用户登录安装客户端的节点，执行以下命令配置环境变量并认证用户： cd 客户端安装目录 source bigdata_env kinit 组件业务用户 执行以下命令登录IoTDB客户端： cd IoTDB/iotdb/sbin .
登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压
登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“完整客户端”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压
登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”（MRS 3.3.0及之后版本集群请在“主页”右上方单击“下载客户端”），“选择客户端类型”设置为“完整客户端”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86
以root用户登录Kafka客户端节点，在客户端安装目录下配置Topic名称为test的可靠性参数命令： cd Kafka/kafka/bin kafka-configs.sh --bootstrap-server 192.168.1.205:21007 --command-config
source bigdata_env 执行以下命令认证当前用户（若集群未启用Kerberos认证（普通模式）请跳过该操作）： kinit 具有Hive操作权限的组件业务用户 执行以下命令登录Hive客户端： beeline 执行以下命令创建一个表并插入数据： drop table
COMMENT "年龄", `gender` TINYINT COMMENT "性别", `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间", `cost` BIGINT
cd 客户端安装目录 source bigdata_env kinit 具有supergroup组权限的用户（普通集群跳过该步骤） 执行命令以下命令查看数据仓库目录权限是否为770： hdfs dfs -ls /tmp | grep hive-scratch 是，执行29。
source bigdata_env kinit 业务用户（普通模式请跳过此步骤） 进入SparkSQL CLI命令行： spark-sql create table d(a int); desc formatted d; 如下图则表示表“d”的Location已经在指定的OBS路径下
partition(country='CN') VALUES(1,'maxwell',45),(2,'minwell',30),(3,'mike',22); INSERT INTO TABLE test.usr partition(country='USA') VALUES(4,'minbin
如果FE和BE共节点部署，还需要将MySQL驱动包上传至“${BIGDATA_HOME}/FusionInsight_Doris_*/install/FusionInsight-Doris-*/doris-fe/jdbc_drivers/” 目录下。
登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“完整客户端”，根据待安装客户端节点的节点类型选择正确的平台类型后单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
