检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
newInstance(); 获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JD
访问HBase ThriftServer认证 操作场景 HBase把Thrift结合起来可以向外部应用提供HBase服务。在HBase服务安装时可选部署ThriftServer实例，ThriftServer系统可访问HBase的用户，拥有HBase所有NameSpace和表的读、
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1
创建一个空角色的用户组，例如，名称为“obs_spark”，并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New Policy”，为2新建的
配置Hudi通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
身份认证与访问控制 身份认证 MRS支持安全协议Kerberos，使用LDAP作为账户管理系统，并通过Kerberos服务对账户信息进行安全认证。 Kerberos安全认证原理和认证机制具体介绍请参见安全认证原理和认证机制。 访问控制 MRS提供两种访问控制权限模型：基于角色的权
SQL语言，用于对结构化数据进行操作。使用Spark SQL，可以访问不同的数据库，用户可以从这些数据库中提取数据，处理并加载到不同的数据存储中。 本实践演示如何使用MRS Spark SQL访问GaussDB(DWS)数据。 方案架构 Spark的应用运行架构如图1所示，运行流程如下所示：
HBase访问多ZooKeeper场景安全认证 场景说明 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper时，为了避免访问连接ZooKeeper认证冲突，提供了样例代码使HBase客户端访问FusionInsight ZooK
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase，前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
安全集群外的客户端访问HBase很慢 问题现象 用户创建了MRS安全集群，在集群外节点安装了集群客户端，并使用客户端命令hbase shell访问HBase，发现访问HBase非常慢。 原因分析 安全集群需要进行Kerberos认证，需要在客户端节点的hosts中配置信息，访问速度才不会受到影响。
s的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 >
conf目录，请自行创建。 [2]修改restHostName为待访问的RestServer实例所在节点IP地址，并将访问节点IP配置到运行样例代码的本机hosts文件中。 [3]安全模式采用https模式进行访问HBase REST服务，传入“securityModeUrl”作为test
HBase访问多个ZooKeeper样例程序 功能简介 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，其中HBase客户端访问FusionInsight ZooKeeper，客户应用访问第三方ZooKeeper。 代码样例
s的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私有云管理控制台，申请弹性公网IP（集群有几个节点就买几个），并分别单击MRS集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 >
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC接口提交数据分析任务 父主题： 开发Hive应用
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC接口提交数据分析任务 父主题： 开发Hive应用
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC提交数据分析任务 父主题： 开发Hive应用
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1
ght-flume-*/bin ./flume-manager.sh restart 在OBS系统中查看结果。 登录OBS控制台。 单击“并行文件系统”，进入1中创建的并行文件系统中的文件夹查看结果。 父主题： MRS集群服务对接OBS示例
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
