检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
job.properties 功能描述 流程的属性定义文件,定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
'{replica}') PARTITION BY toYYYYMM(d)ORDER BY a; 配置“ClickHouse输出”算子,如下图: 作业执行成功后,查看testck4表中数据: 父主题: Loader输出类算子
Status”页签中的“ServerName”列的任一RegionServer名称无法跳转到对应信息页。 操作步骤 以root用户登录主OMS所在节点,执行以下命令获取RegionServer对应的URL。 cat /opt/Bigdata/Apache-httpd*/conf/whitelist
处理步骤 获取告警的信息。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表,单击此告警所在行的,从“附加信息”查看未按容灾需求部署的角色名。 重新部署角色实例。 选择“集群 > 服务 > 待操作服务名 > 实例”,在实例页面,重新部署或调整该角色实例。
录该主机,执行4。 告警附加信息中显示“HA server Certificate”, 查看“定位信息”获取告警所在节点主机名,使用PuTTY工具以omm用户登录该主机,执行5 检查系统中合法证书文件的有效期。 查看当前CA证书剩余有效期是否小于证书的告警阈值。 执行命令openssl
ster将进行用户region的分配。所以当在集群异常的场景下,WAL分割可能需要很长时间,这取决于多个因素,例如太多的WALs,较慢的I/O,region servers不稳定等。 为确保HMaster能够成功完成所有region server WAL分割,请执行以下步骤: 确
程比较耗时。且由于耗时,读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表,使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文件用于存储基础数据,Avro格式文件(也可叫做log文件)用于存储增量数据。 优点:由于写入数据先写delta
程比较耗时。且由于耗时,读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表,使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文件用于存储基础数据,Avro格式文件(也可叫做log文件)用于存储增量数据。 优点:由于写入数据先写delta
缩文件保留个数和压缩文件阈值可以配置。 表1 Tez日志列表 日志类型 日志文件名 描述 运行日志 tezui.out TezUI运行环境信息日志 tezui.log TezUI进程的运行日志 tezui-omm-<日期>-gc.log.<编号> TezUI进程的GC日志 prestartDetail
否,执行8。 查看该告警附加信息是否存在“no enough space”关键字。 是,执行9。 否,执行11。 参考以下操作,进行磁盘扩容(仅针对MRS 3.1.2及之前版本)或调小最大审计日志备份数量配置项。 对OMS节点进行磁盘扩容。 执行以下命令,然后调小最大审计日志备份数量
如果集群采用安全版本,要进行安全认证。执行kinit hbase命令,按提示输入密码(向MRS集群管理员获取密码)。 执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是,执行10。 否,执行9。 在hbase shell中执行命令打开负载均衡功能,并执行命令查看确认成功打开。
// 构造执行环境 val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置并发度 env.setParallelism(1) // 解析运行参数 val paraTool
ster将进行用户region的分配。所以当在集群异常的场景下,WAL分割可能需要很长时间,这取决于多个因素,例如太多的WALs,较慢的I/O,region servers不稳定等。 为确保HMaster能够成功完成所有region server WAL分割,请执行以下步骤: 确
日志路径:Oozie相关日志的默认存储路径为: 运行日志:“/var/log/Bigdata/oozie”。 审计日志:“/var/log/Bigdata/audit/oozie”。 日志归档规则:Oozie的日志分三类:运行日志、 脚本日志和审计日志。运行日志每个文件最大20M,最多20个。
ClickHouse日志列表 日志类型 日志文件名 描述 运行日志 /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.err.log ClickHouseServer服务运行错误日志文件路径。 /var/log/Bigd
日志路径:Oozie相关日志的默认存储路径为: 运行日志:“/var/log/Bigdata/oozie”。 审计日志:“/var/log/Bigdata/audit/oozie”。 日志归档规则:Oozie的日志分三类:运行日志、 脚本日志和审计日志。运行日志每个文件最大20M,最多20个。
AM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台管理角色实例 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
若未显示该图表,需单击图表区域右上角的下拉菜单,选择“定制 > 内存 > ConfigNode直接内存使用率”,单击“确定”,即可查看。 是,执行3。 否,执行5。 在FusionInsight Manager首页,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,选择“ConfigNode
如果集群采用安全版本,要进行安全认证。执行kinit hbase命令,按提示输入密码(向MRS集群管理员获取密码)。 执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是,执行10。 否,执行9。 在hbase shell中执行命令打开负载均衡功能,并执行命令查看确认成功打开。
点使用命令cat /etc/resolv.conf,看该文件是否为空。 是,执行2。 否,执行3。 运行命令service named status查看DNS是否启动。 是,执行3。 否,执行5。 运行命令service named stop将DNS服务停掉,如果出现“Shutting