检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<checkpointLocation> 。 <brokers>指获取元数据的Kafka地址。 <subscribe-type> 指定kakfa的消费方式。 <topic>指要消费的kafka topic。 <checkpointLocation> 指spark任务的checkpoint保存HDFS路径下。 由于Spark
slideInterval) 返回流中滑动窗口元素的个数。 reduceByWindow(func, windowLength, slideInterval) 当调用在DStream的KV对上,返回一个新的DStream的KV对,其中每个Key的Value根据滑动窗口中批次的reduce函数聚合得到。 join(otherStream
slideInterval) 返回流中滑动窗口元素的个数。 reduceByWindow(func, windowLength, slideInterval) 当调用在DStream的KV对上,返回一个新的DStream的KV对,其中每个Key的Value根据滑动窗口中批次的reduce函数聚合得到。 join(otherStream
日志)。 日志归档规则:HDFS的日志启动了自动压缩归档功能,默认情况下,当日志大小超过100MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。
程序会默认为用户添加访问OBS的临时accesskey和secretkey,但是临时accesskey和secretkey有过期时间。 如果需要运行像Flink和SparkStreaming这样的长时作业时,用户可通过“服务配置参数”选项框传入永久的accesskey和secre
如何给集群内用户添加租户管理权限? 分析集群和混合集群支持添加租户管理权限,流式集群不支持添加租户管理权限。给新建账号添加租户管理权限方法如下: MRS 3.x之前版本: 登录MRS Manager。 在“系统设置 > 用户管理”中选择新建的用户,单击“操作”列中的“修改”。 在“分配角色权限”中单击“选择并绑定角色”。
ight Manager用户管理界面,检查当前报错用户的权限。 用户至少具有Manager的以下权限之一才可以访问。 使用root或omm用户登录到主OMS节点。 检查“/srv/BigData/dbdata_om”目录所在的分区是否已满。 清理冗余的数据。 父主题: 登录集群Manager常见异常问题
metastore.server.min.threads MetaStore启动的用于处理连接的线程数,如果超过设置的值之后,MetaStore就会一直维护不低于设定值的线程数,即常驻MetaStore线程池的线程会维护在指定值之上。 200 hive.server2.enable.doAs
2946 Sep 11 13:24 flumeMonitor.log 其中FlumeClient.log即为Flume客户端的运行日志。 父主题: Flume运维管理
2946 Sep 11 13:24 flumeMonitor.log 其中FlumeClient.log即为Flume客户端的运行日志。 父主题: Flume运维管理
志提示Failed to bind to XXX 使用jstack命令查看进程堆栈提示“well-known file is not secure” 使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 Storm业务拓扑配置GC参数不生效 Storm UI查看信息时显示Internal
安装补丁 安装补丁 将从OBS路径中下载的补丁(MRS_3.1.0_TROS_Tools_patch_20240430.tar.gz)工具放至主OMS节点的“/home/omm”目录下。 执行如下命令下载补丁,如果已存在,可跳过此步骤。 wget ${补丁下载地址} 补丁下载地址请参考补丁下载地址。
型字符中的4种。支持的特殊字符为~`!?,.;-_'(){}[]/<>@#$%^&*+|\=。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。 不可与最近N次使用过的密码相同,N为密码策略配置中“重复使用规则”的值。 修改OMS Kerberos管理员用户密码
签页。 页面入口:在YARN的Web UI界面,查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”,即可进入SparkUI页面。 History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID
9.0.5补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
管理MRS集群 查看MRS集群基本信息 查看MRS集群运行状态 启动停止MRS集群 重启MRS集群 导出MRS集群配置参数 同步MRS集群配置 克隆MRS集群 转换MRS按需集群为包周期集群 删除MRS集群 切换MRS集群VPC子网 修改MRS集群NTP服务器 修改OMS服务配置
<checkpointLocation>。 <brokers>指获取元数据的Kafka地址。 <subscribe-type> 指定kakfa的消费方式。 <topic>指要消费的kafka topic。 <checkpointLocation> 指spark任务的checkpoint保存HDFS路径下。 由于Spark
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 在MRS集群中批量删除作业成功 错误码 请参见错误码。 父主题: 作业管理接口
[3] [1]userdir获取的是编译后资源路径下conf目录的路径。用于安全认证的用户凭证文件需要放置到“src/main/resources/conf”的目录下。若不存在conf目录,请自行创建。 [2]修改restHostName为待访问的RestServer实例所在节点
资源,当租户资源能使用的资源不满足最小资源时,可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源,租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业,预留的资源也不能给别的租户资