检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SparkSQL UDF功能的权限控制机制 由于kafka配置的限制,导致Spark Streaming应用运行失败 如何使用IDEA远程调试 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息 Spark on Yarn的client模式下s
1000)); //配置Streaming的CheckPoint目录。 //由于窗口概念的存在,此参数是必需的。 ssc.checkpoint(checkPointDir); //获取获取kafka使用的topic列表。 String[] topicArr
streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制 由于Kafka配置的限制,导致Spark Streaming应用运行失败 执行Spark
默认调度器的调度模式。目前支持两个值,具体值与含义如下: “AVERAGE”:使用按空闲Slot数目为优先级的调度机制 “RATE”:使用按空闲Slot比率为优先级的调度机制 AVERAGE nimbus.thrift.threads 设置主用Nimbus对外提供服务时的最大连接线
定”保存配置。 选择“集群 > 待操作集群的名称 > 服务 > Impala > 实例”,勾选配置状态为“配置过期”的实例,选择“更多 > 重启实例”重启受影响的Impala实例。 父主题: 使用Impala
Manager创建的人机用户,需要具有正在使用的Topic的生产消费权限。 密码为用户manager_user的密码。 如果使用开源kafka-client Jar包,密码中的特殊字符会被限定只能使用“$”。 如果使用MRS kafka-client Jar包,密码中支持的特殊字符为Manager支持的特殊字符,例如~`
ClickHouse的实例IP --port 9440 --secure MRS 3.2.0-LTS及之前版本:普通模式的用户为默认的default用户,或者使用ClickHouse社区开源能力添加管理用户。不能使用在FusionInsight Manager页面创建的用户。 MRS 3
tid}” 运行中的任务日志存储在以上路径中,运行结束后会基于YARN的配置是否汇聚到HDFS目录中,详情请参见Yarn常用配置参数。 日志归档规则: MapReduce的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:
tid}” 运行中的任务日志存储在以上路径中,运行结束后会基于YARN的配置是否汇聚到HDFS目录中,详情请参见Yarn常用配置参数。 日志归档规则: MapReduce的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:
ServerRpcControllerFactory</value> 如果当前的应用开发工程配置项中包含该配置项,则应用开发程序还需要引入Jar包“phoenix-core-5.0.0-HBase-2.0-hw-ei.jar”。此Jar包可以从HBase客户端安装目录下的“HBase/hbase/lib”获取。 如
WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象 为什么DataNode无法正常上报数据块 是否可以手动调整DataNode数据存储目录 DataNode的容量计算出错如何处理 为什么存储小文件过程中,缓存中的数据会丢失
dfs.datanode.data.dir中定义的磁盘数量等于dfs.datanode.failed.volumes.tolerated的值时,DataNode启动失败 HDFS调用FileInputFormat的getsplit的时候出现数组越界 父主题: 使用HDFS
服务解析token的project_id与集群的project_id不符合。 处理步骤 在使用AK/SK认证方式调用接口前,请参见表1收集对应信息,详细的签名方法和SDK使用方法请参见API签名指南。 在构造API请求前,需要获取以下信息,包括组成请求URL的Endpoint和U
应用开发类 如何准备MRS的数据源? MRS是否支持通过Hive的HBase外表将数据写入到HBase? Hive样例工程中的com.huawei.gaussc10依赖包在哪里下载? MRS集群上层应用开发是否支持Python? OpenTSDB是否支持Python的接口? 如何获取Spark
t overwrite的load partition阶段出现找不到文件问题、HIVE-22373:Container重用时文件合并任务失败的问题 MRS 2.0.1.2 修复问题列表: MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS
dfs.datanode.data.dir中定义的磁盘数量等于dfs.datanode.failed.volumes.tolerated的值时,DataNode启动失败 HDFS调用FileInputFormat的getsplit的时候出现数组越界 备NameNode节点长时间未启动,导致启动失败
9.2.2补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
--指定写入的是Hudi表。 'path' = 'obs://XXXXXXXXXXXXXXXXXX/', --指定Hudi表的存储路径。 'table.type' = 'MERGE_ON_READ'
启动指定的Job。 public String submit(Properties conf) 提交Job。 public void kill(String jobId) 删除指定的Job。 public void suspend(String jobId) 暂停指定的Job。 public
jobId) 启动指定的job public String submit(Properties conf) 提交job public void kill(String jobId) 删除指定的job public void suspend(String jobId) 暂停指定的job public