检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Spark2x的Ranger访问权限策略。 Spark2x开启或关闭Ranger鉴权后，需要重启Spark2x服务，并重新下载客户端，或刷新客户端配置文件spark/conf/spark-defaults.conf：
clickhouseuser。 连接ClickHouse客户端，可参考ClickHouse客户端使用实践。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 普通模式： clickhouse client --host ClickHouse的实例IP
true 该参数用于配置打开/关闭水平压缩。在每个DELETE和UPDATE语句之后，如果增量（DELETE / UPDATE）文件超过指定的阈值，则可能发生水平压缩。默认情况下，该参数值设置为“true”，打开水平压缩功能，可将参数值设置为“false”来关闭水平压缩功能。 carbon
executors null Acker的执行器数量。当业务应用对可靠性要求较低，允许不处理部分数据，可设置参数值为“null”或“0”，以关闭Acker的执行器，减少流控制，不统计消息时延，提高性能。 topology.max.spout.pending null Spout消息
";"); val url = sb.toString() 加载Hive JDBC驱动。获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。
deserializer 消息反序列化类。 反序列化所接收的消息。 表4 Consumer重要接口函数 返回值类型 接口函数 描述 void close() 关闭Consumer接口方法。 void subscribe(java.util.Collection<java.lang.String> topics)
apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下：
conf”配置文件中必须添加配置项“spark.dynamicAllocation.enabled”，并将该参数的值设置为“true”，表示开启动态资源调度功能。默认情况下关闭此功能。 下面是一些可选配置，如表1所示。 表1 动态资源调度参数 配置项 说明 默认值 spark.dynamicAllocation.minExecutors
";"); val url = sb.toString() 加载Hive JDBC驱动。获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。
如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Spark2x的Ranger访问权限策略。 Spark2x开启或关闭Ranger鉴权后，需要重启Spark2x服务，并重新下载客户端，或刷新客户端配置文件spark/conf/spark-defaults.conf：
则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中，打开浏览器访问Manager。 Manager访问地址为https://OMS浮动IP地址:28443/web地址。访问时需要输入集群的用户名和密码，例如“admin”用户。 OMS浮动IP地址：远程登
“队列等待时长（毫秒）”：租户等待执行的查询任务的最大等待时长，单位为毫秒。 “开启内存软隔离”：默认关闭内存软隔离。如果开启内存软隔离，在资源充足时，可超额占用限额以外内存，在资源紧张时，才会释放多占用的内存。如果关闭内存软隔离，则该Workload Group为内存硬隔离，超过内存可用限额时，部分SQL将被取消或者拒绝执行。
groupId,String locatorId)相同，只是允许用户自定义checksum选项。 public void close() 使用完毕后关闭连接。 表5 HDFS客户端WebHdfsFileSystem接口说明 接口 说明 public RemoteIterator<FileStatus>
动补丁升级，可视化补丁发布信息，一键式补丁安装，无需人工干预，不停业务，保障用户集群长期稳定。 高可靠 MRS服务经过大规模的可靠性、长稳验证，满足企业级高可靠要求，同时支持数据跨AZ/跨Region自动备份的数据容灾能力，自动反亲和技术，虚拟机分布在不同物理机上。 首次使用MRS
} } if (connection != null) { try { //关闭Hbase连接. connection.close() } catch { case
如果任务失败过多，则会将executor加入黑名单，从而导致后续的任务无法部署运行。此时用户可以通过配置“spark.blacklist.enabled”参数关闭黑名单功能，黑名单功能默认为开启。 如果Kafka上topic的offset变小后，Spark Streaming应用进行重启恢复终止前未处理完的任务如果读取的Kafka
groupId,String locatorId)相同，只是允许用户自定义checksum选项。 public void close() 使用完毕后关闭连接。 表5 HDFS客户端WebHdfsFileSystem接口说明 接口 说明 public RemoteIterator<FileStatus>
groupId,String locatorId)相同，只是允许用户自定义checksum选项。 public void close() 使用完毕后关闭连接。 表5 HDFS客户端WebHdfsFileSystem接口说明 接口 说明 public RemoteIterator<FileStatus>
groupId,String locatorId)相同，只是允许用户自定义checksum选项。 public void close() 使用完毕后关闭连接。 表5 HDFS客户端WebHdfsFileSystem接口说明 接口 说明 public RemoteIterator<FileStatus>
groupId,String locatorId)相同，只是允许用户自定义checksum选项。 public void close() 使用完毕后关闭连接。 表5 HDFS客户端WebHdfsFileSystem接口说明 接口 说明 public RemoteIterator<FileStatus>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
