检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
principal=impala/hadoop.hadoop.com;user.keytab=conf/impala.keytab"; 以上已经经过安全认证，所以用户名和密码为null或者空。 // 建立连接 connection = DriverManager.getConnection(url, "", "");
服务日志默认20MB滚动存储一次，最多保留20个文件，不压缩。 针对MRS 3.x之前版本，Executor日志默认30MB滚动存储一次，最多保留20个文件，不压缩。 日志大小和压缩文件保留个数可以在Manager界面中配置或者修改客户端“客户端安装目录/Flink/flink/conf/”中的log4j-cli.properties、log4j
Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 MRS 2.1.0.3补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。
开发环境 准备项 说明 安装JDK 开发环境的基本配置。版本要求：1.7或者1.8。 说明： 基于安全考虑，MRS 服务端只支持TLS 1.1和TLS 1.2加密协议，IBM JDK默认TLS只支持1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overri
kinit 组件业务用户 该方式仅适用于Linux操作系统，且安装了Kudu的客户端。 代码认证： 通过获取客户端的principal配置文件和keytab文件进行认证。 父主题： 准备Kudu应用开发环境
准备 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求：1.8及以上。 安装和配置Eclipse 用于开发OpenTSDB应用程序的工具。 网络 确保客户端与OpenTSDB服务主机在网络上互通。 父主题： 准备OpenTSDB应用开发环境
JDBCServer HA JDBCServer在启动时，向ZooKeeper注册自身消息，在指定目录中写入节点，节点包含了该实例对应的IP，端口，版本号和序列号等信息（多节点信息之间以逗号隔开）。 示例如下： [serverUri=192.168.169.84:22550 ;version=8
FileStreamMasterObserver”。 如果只有小文件，确定不会有大文件的场景下，建议使用HBase的原始接口进行操作。 HFS接口需要同时对HBase和HDFS进行操作，所以客户端用户需要同时拥有这两个组件的操作权限。 直接存放在HDFS中的大文件，HFS在存储时会加入一些元数据信息，所以存
可以通过以下3种方式的任意一种指定安全认证信息。 在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。
可以通过以下3种方式的任意一种指定安全认证信息。 在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。
0-LTS及之后版本。 操作场景 本章节主要介绍通过spark-sql使用Hudi功能。 前提条件 在Manager界面创建用户并添加hadoop和hive用户组，主组加入hadoop。 操作步骤 下载并安装Hudi客户端，具体请参考安装MRS客户端章节。 目前Hudi集成在Spark中
map(w => (w,1)).reduceByKey(_+_).collect() 您可以直接在命令行中指定Keytab和Principal以获取认证，定期更新登录票据和授权tokens，避免认证过期。示例如下： spark-shell --principal spark2x/hadoop
以及操作类型进行拆分，只有会产生资源竞争的操作才会使用同一个锁。因此极大地提升了写性能。 例如Client1和Client2同时对不相关的目录A、B进行写操作，此时对A和B的操作没有竞争关系，不会持有同一把锁，可以极大提升写性能。 该功能适用于MRS 3.5.0及之后版本。 操作步骤
map(w => (w,1)).reduceByKey(_+_).collect() 您可以直接在命令行中指定Keytab和Principal以获取认证，定期更新登录票据和授权tokens，避免认证过期。示例如下： spark-shell --principal spark2x/hadoop
聚合功能。 然而，开启container日志聚合功能之后，其日志聚合至HDFS目录中，只能通过获取HDFS文件来查看日志。 开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 父主题： Spark Core
Kafka”，查看当前Kafka状态，发现状态为良好，且监控指标内容显示正确。 查看Consumer客户端日志发现频繁连接Broker节点和断链打印信息，如下所示。 [root@10-10-144-2 client]# kafka-console-consumer.sh --topic
0版本，开启Ranger后如何对接kudu外表？ 通过impala-shell连接不上Impalad的21000端口 Impala集群查询数据的时候出现bad version和invalid TType错误 如何关闭MRS集群Impalad角色的cas认证 Impala查询parquet表的Schema和文件Schema不一致时报错
开发环境的基本配置。版本要求：4.2或以上。 JDK JDK使用1.7或者1.8版本。 说明： 基于安全考虑，MRS集群服务端只支持TLS 1.1和TLS 1.2加密协议，IBM JDK默认TLS只支持1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overri
flush privileges; 继续参考购买自定义集群配置其他参数并创建集群。 在集群创建完成后，此时Ranger不会对用户访问Hive和HBase组件的权限进行控制。 使用Ranger管理各组件权限时，如管理hive表权限，在管理控制台或者客户端提交hive作业（操作hive
parkResource的安装目录）。 准备好自己的jar包例如xx.jar的x86版本和TaiShan版本。将x86版本和TaiShan版本的xx.jar分别复制到当前目录的x86文件夹和TaiShan文件夹里面。 在当前目录下执行以下命令将jar包打包： zip -qDj spark-archive-2x-x86
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
