检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf”文件内容是否正确,即是否与集群中的KerberoServer的业务IP配置相同。 检查Kerberos服务是否正常。 检查防火墙是否关闭。 解决客户端应用提交任务到hadoop集群报错,提示Failed to find any Kerberos tgt或者No valid credentials
重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.1-LTS.1.2补丁说明
deserializer 消息反序列化类。 反序列化所接收的消息。 表4 Consumer重要接口函数 返回值类型 接口函数 描述 void close() 关闭Consumer接口方法。 void subscribe(java.util.Collection<java.lang.String> topics)
forName(HIVE_DRIVER); 获取JDBC连接,确认HQL的类型(DDL/DML),调用对应的接口执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 Connection connection = null; try { // 获取JDBC连接
用户有权查看的信息。 当yarn.acl.enable或mapreduce.cluster.acls.enabled设置为false时,即关闭Yarn或Mapreduce的权限校验功能。此时任何用户都可以在Yarn或MapReduce上提交任务和查看任务信息,存在安全风险,请谨慎使用。
是自定义connector,密码字段名要用“password”关键字,否则页面可能显示敏感信息。 关闭SQL加密存储可能会存在密码泄漏风险,建议保持默认开启SQL加密存储。如果要关闭,可参考如下操作: (可选)备份已存在的作业,然后删除所有作业。作业备份和导入可参考导入导出FlinkServer作业信息。
的信息。 当“yarn.acl.enable”或“mapreduce.cluster.acls.enabled”设置为“false”时,即关闭Yarn或MapReduce的权限校验功能。此时任何用户都可以在Yarn或MapReduce上提交任务和查看任务信息,存在安全风险,请谨慎使用。
MRS集群中HetuEngine服务默认启用了Ranger鉴权,HetuEngine普通用户只需关联“hetuuser”用户组即可。如果关闭了Ranger鉴权,必须给用户同时关联“hive”用户组并将其设置为主组,否则可能无法正常使用HetuEngine服务。 启用了Range
发布时间 2024-04-23 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表: 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。 解决Spark列字段中的子查询带有distinct聚合函数时执行查询语法报错的问题。 解决DataArts
GBase数据源自定义配置参数 参数 描述 取值样例 GBase.auto-reconnect 是否自动重连。 true(默认值):开启自动重连。 false:关闭自动重连。 true GBase.max-reconnects 最大重连次数,默认值:3。 3 GBase.jdbc.use-information-schema
deserializer 消息反序列化类。 反序列化所接收的消息。 表4 Consumer重要接口函数 返回值类型 接口函数 描述 void close() 关闭Consumer接口方法。 void subscribe(java.util.Collection<java.lang.String> topics)
apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下:
conf”配置文件中必须添加配置项“spark.dynamicAllocation.enabled”,并将该参数的值设置为“true”,表示开启动态资源调度功能。默认情况下关闭此功能。 下面是一些可选配置,如表1所示。 表1 动态资源调度参数 配置项 说明 默认值 spark.dynamicAllocation.minExecutors
clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 普通模式(关闭Kerberos): clickhouse client --host 上报告警的ClickHouseServer实例IP --user 用户名
";"); val url = sb.toString() 加载Hive JDBC驱动。获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。
如果任务失败过多,则会将executor加入黑名单,从而导致后续的任务无法部署运行。此时用户可以通过配置“spark.blacklist.enabled”参数关闭黑名单功能,黑名单功能默认为开启。 如果Kafka上topic的offset变小后,Spark Streaming应用进行重启恢复终止前未处理完的任务如果读取的Kafka
} } if (connection != null) { try { //关闭Hbase连接. connection.close() } catch { case
forName(HIVE_DRIVER); 获取JDBC连接,确认HQL的类型(DDL/DML),调用对应的接口执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 Connection connection = null; try { // 获取JDBC连接
“队列等待时长(毫秒)”:租户等待执行的查询任务的最大等待时长,单位为毫秒。 “开启内存软隔离”:默认关闭内存软隔离。如果开启内存软隔离,在资源充足时,可超额占用限额以外内存,在资源紧张时,才会释放多占用的内存。如果关闭内存软隔离,则该Workload Group为内存硬隔离,超过内存可用限额时,部分SQL将被取消或者拒绝执行。
forName(HIVE_DRIVER); 获取JDBC连接,确认HQL的类型(DDL/DML),调用对应的接口执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 Connection connection = null; try { // 获取JDBC连接