检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager,具体请参见访问集群Manager,选择“集群 > 服务”。 选择“Loader”,在“Loader WebUI”右侧,单击链接,打开Loader的WebUI。 在Loader页面,单击“新建作业”。 在“连接”后单击“添加”,配置连接参数。 参数介绍具体可参见Loader连接配置说明。
Agent进程暂停工作。 可能原因 Flume Sink故障,导致数据无法发送。 网络故障,导致数据无法发送。 处理步骤 检查Flume Sink是否故障。 本地打开用户自定义配置文件properties.properties,搜索配置文件中是否有“type = hdfs”关键字确认Flume Sink是否是HDFS类型。
对系统的影响 已检测到JobServer任务队列中存在过多任务数(详细的任务队列使用情况,请参考本告警的附加信息字段),将导致如下影响: 当JobServer任务队列中的任务数达到队列最大值(默认为1000)时,新的任务将无法添加,将会影响用户的大数据任务提交。 在JobServer任务队
上传应用数据至MRS集群 MRS集群处理的数据源通常来源于OBS文件系统或集群内的HDFS文件系统,OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。 用户可以基于MRS管理控制台和OBS客户端对OBS数据进行浏览、管理和使用,也可以将OBS的数据导入集群的HDFS系统后进行处理,上传
e)、运算操作(+、-、*、/)以及函数调用(连接操作 ||)时能提供数据类型隐式转换功能。 类型隐式转换功能是可以打开、关闭的,默认是关闭状态,使用前需要先打开隐式转换功能。 在Session级别开启隐式转换 登录HetuEngine客户端。 执行以下命令,开启数据类型隐式转换功能。
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 “基本信息”界面
内容说明请参考表1,条目较多时,单击搜索框可根据关键字字段进行筛选。 表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息,可登录组件安装节点,进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志。 Admin
HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件,一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0 ClickHouse 22.3.2.2
配置NameNode内存参数 配置场景 在HDFS中,每个文件对象都需要在NameNode中注册相应的信息,并占用一定的存储空间。随着文件数的增加,当原有的内存空间无法存储相应的信息时,需要修改内存大小的设置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS“全部配置”页面。
景,为了保障与数据表的一致性,索引表TTL将自动继承数据表索引列和覆盖列的TTL,不支持手动指定。 索引在线变更 支持索引在线创建、删除和修改状态,不影响数据表读写。 索引在线修复 当查询命中的索引数据无效时,可以触发索引修复,保障最终查询结果正确。 索引工具 支持索引一致性检查
选择对应的IP模式,如IPv4或者IPv6。 “目的端主NameNode IP地址”:填写备集群主NameNode业务平面IP地址。 “目的端备NameNode IP地址”:填写备集群备NameNode业务平面IP地址。 “目的端NameNode RPC端口”:填写备集群HDFS基础配置“dfs
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面
“*”(例如“/test/*”)。 如需子目录继承上级目录权限,可打开递归开关按钮。 如果父目录开启递归,同时子目录也配置了策略,以子目录策略为准。 non-recursive:关闭递归 recursive:打开递归 Description 策略描述信息。 Audit Logging
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 “基本信息”界面
IDEA和JDK工具,并进行相应的配置。 安装JDK。 安装IntelliJ IDEA工具。 在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图1 Quick Start 在“Configure”页面中选择的“Project
操作) 执行以下命令查看负载均衡功能是否打开。 hbase shell balancer_enabled 若执行结果为“true”则表示已打开负载均衡功能。 是,执行20。 否,执行18。 执行以下命令打开负载均衡功能,并确认是否成功打开。 balance_switch true
向量化执行有很多社区问题引入目前没有稳定修复,默认hive.vectorized.execution.enabled=false,不建议将此参数打开。 父主题: Hive常见问题