检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit 组件业务用户 执行以下命令,创建Kafka的Topic。
sh refreshConfig.sh 客户端安装目录客户端配置文件压缩包完整路径 例如: sh refreshConfig.sh /opt/Bigdata/client /tmp/MRS-client/MRS_Services_Client.tar 界面显示以下信息表示配置刷新更新成功
在“com.huawei.bigdata.hive.examples”包的“JDBCExample”类中修改“USER_NAME”为实际用户名,例如“developuser”。
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit 组件业务用户 执行以下命令,创建Kafka的Topic。
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限,具体请参见ClickHouse用户及权限管理章节,为用户绑定对应角色。
可以用集群内节点上java jdk目录下的cacerts(例如:/opt/Bigdata/jdk1.8.0_232/jre/lib/security/cacerts)替换当前节点java jdk目录下的cacerts来解决。 父主题: Presto应用开发常见问题
cd /srv/pyflink-example virtualenv venv --python=python3.x source venv/bin/activate 执行以下命令将客户端安装目录下的“Flink/flink/opt/python/apache-flink-*.tar.gz
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限,具体请参见创建ClickHouse角色章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行本步骤。
source bigdata_env 如果集群开启了Kerberos认证,执行以下命令认证用户,否则跳过此步骤。 kinit Hive业务用户 执行以下命令登录源端集群的Hive客户端。 beeline 执行以下命令创建表“export_test”。
source bigdata_env 执行以下命令认证当前用户。 kinit 组件业务用户 执行以下命令,创建Kafka的Topic。详细的命令使用可以参考创建Kafka Topic。
source /opt/client/bigdata_env cd /opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。
source /opt/client/bigdata_env cd /opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。
source /opt/client/bigdata_env cd /opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。
source /opt/client/bigdata_env cd /opt/client/Loader/loader-tools-1.99.3/sqoop-shell ./sqoop2-shell 上述命令通过读取配置文件获取认证信息。
登录FusionInsight Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压
执行日志记录在主NameNode的“/var/log/Bigdata/hdfs/nn/hadoop.log”目录下。 典型场景 通过Hue界面对HDFS以文本或二进制查看和编辑文件的操作如下: 查看文件 访问Hue WebUI。 左侧导航栏单击文件。进入“文件浏览器”页面。
执行cd命令进入客户端安装目录,然后执行source bigdata_env。 如果集群采用安全版本,要进行安全认证。预先向MRS集群管理员获取hdfs用户的密码,执行kinit hdfs命令,按提示输入密码。 执行以下命令手动退出安全模式。
默认保存目录为“数据存放路径/LocalBackup/”,例如“/srv/BigData/LocalBackup”。 选择此参数值,还需要配置“最大备份数”,表示备份目录中可保留的备份文件集数量。 “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。
存储在HBase中的表的典型特征: 大表(BigTable):一个表可以有上亿行,上百万列。 面向列:面向列(族)的存储、检索与权限控制。 稀疏:表中为空(null)的列不占用存储空间。