检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Ranger权限配置 登录FusionInsight Manager，选择“系统 > 权限 > 用户组 > 添加用户组”，创建一个空角色的用户组，例如“obs_hadoop”。 选择“系统 > 权限 > 用户 > 添加用户”，创建一个只关联用户组“obs_hadoop”的用户，例如“hadoopuser”。
配置Spark通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Spark客户端创建Location为OBS路径的表。 Spark对接OBS MRS集群支持Spark服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive
Spark Python接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类
配置说明表 配置名称 含义 principal 准备开发用户时创建的用户名。 user.keytab.path 准备开发用户时创建的用户的认证文件“user.keytab”所在路径。 krb5.conf.path 准备开发用户时创建的用户的认证文件“krb5.conf”所在路径。 conf
获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间
件操作用户赋予OBS路径的“Read”和“Write”权限。 Ranger权限配置 登录FusionInsight Manager，选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组，例如，名称为“obs_flink”，并将该用户组绑定给对应用户。 使用
过JDBC访问Spark SQL样例程序（Scala） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： val sqlList = new ArrayBuffer[String]
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务，并至少有一个实例可连接客户端。在
参考ClickHouse客户端使用实践使用客户端登录ClickHouse服务实例节点。注意：客户端命令clickhouse client中的host参数填写4中获取的ELB私有IP地址。 在客户端界面查看通过ELB可以正常连接到ClickHouse实例节点。 手工通过客户端命令连接时，因为并发请求数较少，
创建hive角色 自定义用户组赋予OBS路径的读写权限 登录FusionInsight Manager，选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组，例如，名称为“hiveobs1”，并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务，并至少有一个实例可连接客户端。在JDBCServer节点上分别
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1
执行:q退出spark-shell命令行。 Ranger权限配置 登录FusionInsight Manager，选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组，例如，名称为“obs_hudi”，并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL
16补丁会提示需要用户输入root密码或者密钥。 否，需要先安装MRS 3.1.0.0.8补丁，安装完需要重启相关服务，具体请参考MRS 3.1.0.0.8版本补丁说明。 检查是否安装了MRS_3x_Patch_Diskmgt_v2.1_20230322紧急补丁 使用root用户登录集群主节点，并进入“/root”目录。
配置Windows通过EIP访问普通模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注
SQL语言，用于对结构化数据进行操作。使用Spark SQL，可以访问不同的数据库，用户可以从这些数据库中提取数据，处理并加载到不同的数据存储中。 本实践演示如何使用MRS Spark SQL访问GaussDB(DWS)数据。 方案架构 Spark的应用运行架构如图1所示，运行流程如下所示：
组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 例如，执行以下命令访问“mrs-word001”并行文件系统，返回文件列表即表示访问OBS成功，如图1所示： hadoop
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务，并至少有一个实例可连接客户端。在L
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
