该访问方式需确保云专线服务可用,并已打通本地数据中心到线上VPC的连接通道。 弹性IP访问和云专线访问可以在MRS集群管理控制台上进行切换。 通过ECS浏览器访问 本地无法直接访问MRS集群网络,通过与MRS集群网络相通的ECS节点中的浏览器直接访问Manager。 该方式需
条件表达式 CASE 标准的SQL CASE表达式有两种模式。 “简单模式”从左向右查找表达式的每个value,直到找出相等的expression: CASE expression WHEN value THEN result [ WHEN ... ] [ ELSE result
该访问方式需确保云专线服务可用,并已打通本地数据中心到线上VPC的连接通道。 弹性IP访问和云专线访问可以在MRS集群管理控制台上进行切换。 通过ECS浏览器访问 本地无法直接访问MRS集群网络,通过与MRS集群网络相通的ECS节点中的浏览器直接访问Manager。 该方式需
distinct出现次数超过2就进行“提示”的规则。 图1 添加Spark SQL防御规则 登录安装有Spark客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env source
升级,应用程序仍然可以运行旧版本的Hadoop。 配置描述 进入HDFS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命
HA方案和设置ThriftServer连接的超时时间。 ThriftServer HA方案,当ThriftServer主节点发生故障时,备节点能够主动切换为主节点,为集群提供服务。Beeline和JDBC客户端代码两种连接方式的操作相同。 连接HA模式下的ThriftServer,连接字符串
否,执行步骤 19。 检查主备DBServer数据库进程状态。 以root用户登录DBService浮动IP所在主机,执行su - omm命令切换至omm用户。 执行cd ${DBSERVER_HOME}命令进入DBService服务的安装目录。 执行sh sbin/status-dbserver
omm:wheel ${BIGDATA_DATA_HOME}/data2 -R。 在Manager管理界面,单击指定的NodeManager实例并切换到“实例配置”。 将配置项“yarn.nodemanager.local-dirs”或“yarn.nodemanager.log-dirs”修改为新的目标目录。
升级,应用程序仍然可以运行旧版本的Hadoop。 配置描述 进入HDFS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命
以root用户登录主OMS管理节点。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 执行以下命令,切换到omm用户。 su - omm 依次执行ssh命令,查看是否连接失败。 ssh host2 host2为告警详情中OMS管理节点之外的其他节点。
编写Coordinator任务文件“coordinator.xml”。 完成每天一次的定时数据分析工作,请参见配置Coordinator定时调度作业。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户,准备用户可参见准备本地应用开发环境。 使用该用户进行Kerberos认证。 使用HDFS上传命令,将“dat
insert overwrite + BUCKET索引。 确认BUCKET索引桶数(可选) Hudi表的bucket桶数需要在建表时确定,后期不能变更,桶数设置不合理将会导致严重的性能问题,必须按照以下步骤去预估bucket桶数: 非分区表 预估Hudi表总数据条数A,不能是现有的存量数
查看Master1节点 使用root用户登录Master1节点,密码为购买集群时配置的用于登录集群节点的“root”用户自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包: cd /tmp/FusionInsight-Client/ tar -xvf FusionI
9.2.3补丁安装完成之后,需要重启OMS服务。如果集群之前安装了1.9.2.2补丁,不需要做此操作。 使用root用户登录主备OMS节点,切换至omm用户,执行命令sh ${BIGDATA_HOME}/om-0.0.1/sbin/restart-oms.sh重启OMS服务。 主备OMS节点都需要重启。
a。 如果告警原因为“DataNode数据目录中多个目录使用同一磁盘”,执行5.a。 检查DataNode数据目录是否创建失败。 执行以下命令切换用户: sudo su - root su - omm 使用ls命令查看DataNode数据目录中的每个目录是否存在。 是,执行步骤 7。
9及以上操作系统)需要安装Python2版本,具体请参考Impala客户端安装Python2。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 运行Impala客户端命令,实现A业务。
erver”。 进入“/udf/hetuserver”,单击上传UDF函数包。 使用HDFS命令行上传。 登录HDFS服务客户端所在节点,切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
对磁盘健康状态进行检查,建议使用专门的磁盘检查工具。 统计存储 分批次排查集群节点磁盘数据是否均匀存储,筛选出明显数据增加或不足的硬盘,并确认硬盘是否正常。 记录变更 安排并记录对集群配置参数和文件实施的操作,为故障分析处理场景提供依据。 每月 分析日志 收集集群节点服务器的硬件日志,例如BMC系统日志,并进行分析。
insync.replicas=2 其中192.168.1.205为ZooKeeper业务IP地址。 如果修改服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 父主题: 使用Kafka
如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: 支持磁盘分区扩容 弹性扩缩容过程中的异常告警优化 支持更换i/ir系列磁盘后,自动挂载磁盘 解决的问题 解决的问题 Manager 解决主机监控数据缺失问题; 解决主oms的gaussdb进程占用内存较大的问题;
您即将访问非华为云网站,请注意账号财产安全