正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDLService的堆栈日志。 审计日志 cdl-audit.log 服务的审计日志。 日志级别 CDL提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。
MemStore大小达到配置的容量上限时,RegionServer会将MemStore中的数据flush到HDFS中。 StoreFile MemStore的数据flush到HDFS后成为StoreFile,随着数据的插入,一个Store会产生多个StoreFile,当Store
session。 -h,--help: 显示Yarn session CLI的帮助。 -id,--applicationId <arg>:绑定到一个已经运行的Yarn session。 -j,--jar <arg>:设置用户jar包路径。 -jm,--jobManagerMemory
session。 -h,--help: 显示Yarn session CLI的帮助。 -id,--applicationId <arg>:绑定到一个已经运行的Yarn session。 -j,--jar <arg>:设置用户jar包路径。 -jm,--jobManagerMemory
配置MRS集群监控指标数据转储 监控指标数据转储介绍 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件,并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数,使集群内各监控指标数据保存到指定的FTP服务器,与第三方系统进行对接。
HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job); // 安全模式下必须要执行这个操作 // HBase添加鉴权信息到Job,map或reduce任务将会使用此处的鉴权信息
用于同步用户及用户组的内部用户。 rangertagsync 系统随机生成 用于同步标签的内部用户。 rangerobs/hadoop.<系统域名> 系统随机生成 Guardian访问ranger系统管理员用户。 jobserver 系统随机生成 JobGateway的系统管理员,用户权限: HDFS文件操作权限:
请求处理。也可作为Leader的储备,当Leader故障时从Follower当中选举出Leader,避免出现单点故障。 观察者 观察者(Observer)不参与选举和写请求的投票,只负责处理读请求、并向Leader转发写请求,避免系统处理能力浪费。 离散流 Spark Strea
例如某MRS集群有20个DataNode:dn-1到dn-20,对应的IP地址为10.1.120.1到10.1.120.20,host2tags配置文件内容可以使用如下的表示方式。 主机名正则表达式: “/dn-\d/ = label-1”表示dn-1到dn-9对应的标签为label-1,即dn-1
将上报告警,“0”表示不限速 metrics.reporter.alarm.job.alarm.rocksdb.background.jobs.multiplier 2 flush/compaction的请求量超过了state.backend.rocksdb.thread.num
单位为秒,可实现数据热存储转为冷存储或冷存储转为热存储,例如: 将热存储数据转为冷存储数据: 将写入到hot_cold_table表的f列的超过一天(86400秒)的数据归档到冷存储中: alter 'hot_cold_table', {NAME=>'f', COLD_BOUNDARY=>'86400'}
运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参数指定HDFS的地址。格式为hdfs://{NAMESERVICE}。其中{NAMESERVICE}为hdfs
运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参数指定HDFS的地址。格式为hdfs://{NAMESERVICE}。其中{NAMESERVICE}为hdfs
运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参数指定HDFS的地址。格式为hdfs://{NAMESERVICE}。其中{NAMESERVICE}为hdfs
集群状态和集群ID可参考查询集群列表接口获取。 本章节的接口只支持流式集群、分析集群和混合集群,不支持自定义集群。 接口约束 无 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/cluster_infos/{cluster_id} 表1 路径参数 参数