检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE IF NOT EXISTS
一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE IF NOT EXISTS
查看定位信息中对应的“路径名”字段值,获取异常的文件路径或者名称。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 查看日志文件“$BIGDATA_LOG_HOME/nodeagent/scriptlog/checkfileconfig.log”,
后等待5分钟,检查告警是否清除。 是,结束。 否,执行3。 以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询MRS集群管理员。执行如下命令: 安全模式: cd 客户端安装目录 source bigdata_env kinit hdfs 普通模式: su - omm
在日志中搜索关键字“slow”,确认发生慢操作的上下游节点信息。 检查当前节点与10中获取的节点之间的网络通信是否通畅。 是,执行13。 否,联系网络管理员修复网络。 等待5分钟,检查该告警是否恢复。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
公用参数介绍 分类 参数 说明 连接数据库 --connect 连接关系型数据库的url --connection-manager 指定连接管理类 --driver jdbc 连接驱动包 --help 帮助信息 --password 连接数据库密码 --username 连接数据库的用户名
ACID事务能力,支持实时入湖和批量入湖。 多种视图能力(读优化视图/增量视图/实时视图),支持快速数据分析。 MVCC设计,支持数据版本回溯。 自动管理文件大小和布局,以优化查询性能准实时摄取,为查询提供最新数据。 支持并发读写,基于snapshot的隔离机制实现写入时可读取。 支持原地转
无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例任务失败率超过阈值
正确执行。 是,执行4.e。 否,执行4.a。 检查HDFS、Yarn、ZooKeeper等是否正常。 登录MRS集群详情页面,选择“组件管理”。 在服务列表查看HDFS、Yarn、ZooKeeper等服务是否正常。 是,执行4.e。 否,执行4.c。 查看告警界面的相关告警,参照对应告警帮助进行处理。
以root用户登录发生告警的“主机名”节点,检查“/etc/fstab”文件中是否包含“挂载目录名”的行,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行6。 否,执行7。 执行vi /etc/fstab命令编辑文件,将包含“挂载目录名”的行删除。 联系硬件工程师插入全新磁盘,
查看定位信息中对应的“路径名”字段值,获取异常的文件路径或者名称。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行ll 路径名命令,其中路径名为2获取到的异常文件,获取到该文件或者目录在主机上的当前的用户,权限,用户组等信息。 进入“${BI
已安装客户端,具体请参考安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。
在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”、“集群控制台地址”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
代码设置运行用户。若在没有修改代码的场景下,执行以下语句添加环境变量: export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属supergroup用户组。 执行如下命令,运行Jar包。
的,由Driver进行协调。 在运行一个应用时,Driver会去连接集群管理器(Standalone、Mesos、YARN)申请运行Executor资源,并启动ExecutorBackend。然后由集群管理器在不同的应用之间调度资源。Driver同时会启动应用程序DAG调度、Stage划分、Task生成。
相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf
公用参数介绍 分类 参数 说明 连接数据库 --connect 连接关系型数据库的url --connection-manager 指定连接管理类 --driver jdbc 连接驱动包 --help 帮助信息 --password 连接数据库密码 --username 连接数据库的用户名
相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf
Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址,附加信息内容。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令vi ${BIGDATA_LOG_HOME}/controller/scriptlog/getLogs.log,检索关键字“LOG
的主机名所在的节点IP地址。 获取ZooKeeper进程pid。以root用户登录到告警上报的节点,用户密码为安装前用户自定义,请咨询系统管理员,执行命令:pgrep -f proc_zookeeper。 是否正常获取pid。 是,执行4。 否,执行15。 获取所有与当前ZooK