检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ddj_study_card_ratio_v12_test; 当返回结果信息中无报错信息，并且查询成功时，表示Hive成功对接CSS服务。查询结果如下所示： 父主题： 周边云服务对接
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。 父主题： MRS集群服务对接OBS示例
使用Jupyter Notebook对接MRS Spark 应用场景 在MRS服务中可以配合Jupyter Notebook使用PySpark，能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。
使用MRS Hive表对接OBS文件系统 应用场景 MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离场景。 用户通过IAM服务的“委托”机制进行简单配置，即可实现OBS的访问。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台
配置Flink对接Kafka安全认证 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。 确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。 创建Topic。 用户使用Linux命令行
MRS对接LakeFormation云服务 LakeFormation服务概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 通过Ranger为MRS集群内用户绑定LakeFormation角色 父主题： 周边云服务对接
MRS集群是否支持对接外部KDC？ 问： MRS集群是否支持对接外部KDC？ 答： MRS服务只支持使用自带的内部KDC。 父主题： 周边生态对接类
建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation使用流程 约束说明 MRS对接LakeFormation前，需要注意以下约束限制：
Driver是否支持对接dbcp2？ 问： Hive Driver是否支持对接dbcp2？ 答： Hive driver不支持对接dbcp2数据库连接池。 dbcp2数据库连接池调用isValid方法检查连接是否可用，而Hive对于这个方法的实现就是直接报错。 父主题： 周边生态对接类
Hive对接外置自建关系型数据库 MRS Hive对接外部LDAP配置说明 使用Kafka Eagle对接MRS Kafka 使用Jupyter Notebook对接MRS Spark
C，且Master节点可以访问对接服务器的IP地址和指定端口。 配置MRS集群对接SNMP网管平台上报告警 登录Manager，进入SNMP配置界面。 MRS 3.x及之后版本 登录FusionInsight Manager。 选择“系统 > 对接 > SNMP”。 开启“SNMP服务”开关。
Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（MRS 3.x之前版本）
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
创建名称为“hive”的Catalog、名称为“default”的数据库，如果实例中已存在则请跳过该步骤。详细操作可参考管理元数据。 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog。 确认左上角实例是新创建的LakeFormation实例名称后，进入“元数据
配置Guardian服务对接OBS 操作场景 该章节指导用户开启Guardian组件存算分离操作。开启后Guardian可以在存算分离场景下为HDFS、Hive、Spark、Loader、HetuEngine等服务提供访问OBS的临时认证凭据。 配置Guardian服务对接OBS主要操作如下：
是否开启使用Guardian对接OBS的access label。 true fs.obs.guardian.enabled 是否开启使用Guardian。 true 进入Guardian服务“概览”页面，选择“更多 > 重启服务”。 配置Hive对接OBS文件系统。 在FusionInsight
HDFS对接OBS业务应用开发样例说明 对接原理介绍 HDFS创建FileSystem的代码会根据uri的scheme查找对应的实现类，即针对不同底层提供的实现类，在HDFS的配置文件中进行配置，HDFS就会根据fs.AbstractFileSystem.%s.impl创建对应的实现类。如下所示：
MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce通过Guardian访问OBS
t绑定在一起。 DataFrame toDF(java.lang.String... colNames) 返回一个列重命名的DataFrame。 DataFrame sort(java.lang.String sortCol,java.lang.String... sortCols)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
