检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1/install/FusionInsight-Spark2x-3.1.1/spark/jars/streamingClient010/*”。 将各服务端节点的“original-spark-examples_2.12-3.1.1-xxx.jar”包删除。 在客户端“spark-defaults
1/install/FusionInsight-Spark2x-3.1.1/spark/jars/streamingClient010/*”。 将各服务端节点的“original-spark-examples_2.12-3.1.1-xxx.jar”包删除。 在客户端“spark-defaults
layer between client and server错误。 hadoop.rpc.protection参数表示数据可通过以下任一方式在节点间进行传输。 privacy:指数据在鉴权及加密后再传输。这种方式会降低性能。 authentication:指数据在鉴权后直接传输,不加密。这种方式能保证性能但存在安全风险。
> 告警”,单击此告警所在行的,在定位信息中查看发生该告警的主机名称。单击主机名称,查看对应的IP地址。 以omm用户登录告警所在主机IP节点。 执行以下命令,获取到当前配置的omm用户同时打开的线程最大数的配置值,并确认该值是否大于等于60000。 systemctl status
n对接OBS后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env
否,执行13。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选如下节点信息。 Hue Controller 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
警详情”区域,获取告警所在主机信息和故障磁盘信息。 确认上报告警的节点是否为虚拟化环境。 是,执行3。 否,执行6。 请检查虚拟化环境提供的存储性能是否满足硬件要求,检查完毕之后执行4。 以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值。 是,执行6。
1/install/FusionInsight-Spark2x-3.1.1/spark/jars/streamingClient010/*”。 将各服务端节点的“original-spark-examples_2.12-3.1.1-xxx.jar”包删除。 在客户端“spark-defaults
1/install/FusionInsight-Spark2x-3.1.1/spark/jars/streamingClient010/*”。 将各服务端节点的“original-spark-examples_2.12-3.1.1-xxx.jar”包删除。 在客户端“spark-defaults
收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的如下节点信息。 DBService HDFS Loader Mapreduce Yarn ZooKeeper 单击右上角的设置日志收集的“开始时间
对系统的影响 JobHistoryServer进程的垃圾回收时间过长,可能影响该JobHistoryServer进程正常提供服务。 可能原因 该节点JobHistoryServer实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight
为了避免资源竞争带来的不确定性因素,建议为HetuEngine使用的租户创建独立资源池。 HetuEngine计算实例启动依赖Python3,需确保集群所有节点已安装Python3,并在“/usr/bin/”目录下添加Python软链接,可参考HetuEngine计算实例启动失败报错Python不存在。
动选择对应的IP模式,如IPv4或者IPv6。 “源端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “源端路径”:参考2中获取的“备份路径”,填写备集群保存备份数据的完整HDFS路径。例如,“备份路径/备份任务名_数据源_任务创建时间/”。
是,执行2。 否,执行3。 修改关系型数据库对应的驱动jar包文件权限。 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径:“${BIGDATA_HOME}/FusionInsight_Porter_xxx/install/FusionInsight-Sqoop-1
前提条件 已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点。 执行以下命令,进入Loader客户端的loader-tool工具目录。例如,Loader客户端安装目录为“/opt/client/Loader/”。
您可以直接选择“MRS_ECS_DEFAULT_AGENCY”,也可以自行创建其他具有OBS文件系统操作权限的自定义委托。 集群购买成功后,在MRS集群的任一节点内,使用omm用户安装集群客户端,具体操作可参考安装并使用集群客户端。 例如客户端安装目录为“/opt/client”。 步骤2:准备测试数据
x及后续版本。 前提条件 已安装并配置Loader客户端,具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点。 执行以下命令,进入Loader客户端的loader-tool工具目录。例如,Loader客户端安装目录为“/opt/client/Loader/”。
是,执行2。 否,执行3。 修改关系型数据库对应的驱动jar包文件权限。 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径:“${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Sqoop-1
kHouse客户端节点IP:8080/clickhouse/executeQuery,查看浏览器返回信息: ClickHouse springboot client runs normally. Linux环境下执行运行方式: 登录ClickHouse客户端节点,执行如下命令,查
insert into mysql_table (`int_id`, `float`) VALUES (1,2); 登录ClickHouse客户端安装节点。执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如