检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入客户端安装目录，设置环境变量： cd 客户端安装目录 source bigdata_env 如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示输入密码（向MRS集群管理员获取密码）。
- spark.security.bigdata.loginOnce Principal用户是否只登录一次。true为单次登录；false为多次登录。
kerberos认证，配置如下： security.kerberos.login.contexts: Client,KafkaClient Security Cookie 认证 - 参考签发Flink证书样例章节生成“generate_keystore.sh”脚本并放置在Flink客户端的“bin
/patches/{补丁版本号}/client/ source /opt/Bigdata/client/bigdata_env 安全集群需要认证对HDFS有权限的用户： kinit {业务用户} 执行升级HDFS上的包： sh update_hdfs_file.sh （可选）回退（
登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“完整客户端”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压
登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“完整客户端”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压
- spark.security.bigdata.loginOnce Principal用户是否只登录一次。true为单次登录；false为多次登录。
table.exec.mini-batch.size: 5000 使用local-global两阶段聚合减少数据倾斜 Local-Global聚合是为解决数据倾斜问题提出的，通过将一组聚合分为两个阶段，首先在上游进行本地聚合，然后在下游进行全局聚合，类似于MapReduce中的 Combine
source bigdata_env 执行以下命令认证用户身份，并输入用户密码（任意有权限的用户，这里以userA为例，普通模式不涉及）。 kinit userA 在ZooKeeper客户端执行以下命令，进入ZooKeeper命令行。
SELECT transform_keys(MAP(ARRAY [1, 2], ARRAY [1.0, 1.4]), (k, v) -> MAP(ARRAY[1, 2], ARRAY['one', 'two'])[k]); -- {two=1.4, one=1.0} size(x) → bigint
source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 组件业务用户 执行以下命令，创建Kafka的Topic。
source bigdata_env Linux中编译并运行程序 进入Linux客户端目录，运行如下命令导入公共环境变量。 cd /opt/client source bigdata_env 在该目录下用hdfs用户进行命令行认证。
source bigdata_env 执行以下命令认证当前用户（未启用Kerberos认证集群跳过此步骤）。 kinit clickhouseuser 执行ClickHouse组件的客户端命令登录客户端。
bind - 监测主机名/IP。 port - 绑定监测端口，该端口需未被占用。
图1 HBase数据迁移示意 方案优势 场景化迁移通过迁移快照数据然后再恢复表数据的方法，能大大提升迁移效率。 约束与限制 搬迁数据量较大时，对网络通信要求较高，执行搬迁任务时，可能会影响其他业务，建议在业务空闲期进行数据迁移任务。 全量数据迁移 登录CDM管理控制台。
执行日志记录在主NameNode的“/var/log/Bigdata/hdfs/nn/hadoop.log”目录下。 典型场景 通过Hue界面对HDFS以文本或二进制查看和编辑文件的操作如下： 查看文件 访问Hue WebUI。 左侧导航栏单击文件。进入“文件浏览器”页面。
代码样例 完整样例代码可参考com.huawei.bigdata.hdfs.examples.ColocationExample。 在运行Colocation工程时，需要将HDFS用户绑定supergroup用户组。
kafkaProc.getValues(KERBEROS_DOMAIN_NAME, "hadoop.hadoop.com")); // 分区类名 props.put(PARTITIONER_NAME, kafkaProc.getValues(PARTITIONER_NAME, "com.huawei.bigdata.kafka.example.SimplePartitioner
代码样例 完整样例代码可参考com.huawei.bigdata.hdfs.examples.ColocationExample。 在运行Colocation工程时，需要设置运行用户，此用户需绑定supergroup用户组。
代码样例 完整样例代码可参考com.huawei.bigdata.hdfs.examples.ColocationExample。 在运行Colocation工程时，需要将HDFS用户绑定supergroup用户组。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
