检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行以下命令创建数据库（例如名称为“sparkconnector”）并切换。 create database if not exists sparkconnector; use sparkconnector; 执行以下命令创建表（注意表结构要和hive表结构一致）。
执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。
提供类似SQL的Hive Query Language语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 海量结构化数据分析汇总。
registerTempTable 将DataFrame注册为一张临时表，其周期和SQLContext绑定在一起。 DataFrame toDF(java.lang.String... colNames) 返回一个列重命名的DataFrame。
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。
执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
Doris样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。
使用客户端用户登录客户端安装节点，并切换到客户端安装目录。 如果是安全集群，需要使用hdfs用户进行权限认证。
执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。
Doris样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。
MRS 2.1.0.11补丁安装后，需要登录备Master节点（登录MRS Manager，在“主机管理”页面中带有空心五角星的Master节点即为备Master节点）并切换到omm用户执行sh /opt/knox/bin/restart-knox.sh命令重启knox进程。
执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
执行以下命令，切换到客户端安装目录，例如安装目录为“/opt/client”，请用户根据实际情况修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群开启了Kerberos认证，执行以下命令认证用户，否则跳过此步骤。
访问MRS时，需要先切换至授权区域。 权限模型根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。
执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。
执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
registerTempTable 将DataFrame注册为一张临时表，其周期和SQLContext绑定在一起。 DataFrame toDF(java.lang.String... colNames) 返回一个列重命名的DataFrame。
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中，spark把每条记录都转换为一行记录，然后写到file中。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
