检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Manager中创建一个人机用户,例如“dorisuser”,创建一个拥有“Doris管理员权限”的角色绑定给该用户。 使用新建的用户dor
0 | 1 d2 | user4 | 4000.0 | 2 Aggregate Functions 所有的聚合函数都能通过添加over子句来当做窗口函数使用。聚合函数将在当前窗口框架下的每行记录进行运算。 下面的查询生成每个职员按天计算的订单价格的滚动总和。 select
SourceFunction[T]): DataStream[T] 用户自定义SourceFunction,addSource方法可以添加Kafka等数据源,主要实现方法为SourceFunction的run。 function指的是用户自定义的SourceFunction函数。
SourceFunction[T]): DataStream[T] 用户自定义SourceFunction,addSource方法可以添加Kafka等数据源,主要实现方法为SourceFunction的run。 function指的是用户自定义的SourceFunction函数。
SourceFunction[T]): DataStream[T] 用户自定义SourceFunction,addSource方法可以添加Kafka等数据源,主要实现方法为SourceFunction的run。 function指的是用户自定义的SourceFunction函数。
因为JDBCServer启动了Spark的动态资源分配功能,已经将shuffle托管给NodeManager,NodeManager只会按照APP的运行周期来管理这些文件,并不会关注单个executor所在的container是否存在。因此,只有在APP结束的时候才会清理这些临时文件。任务运行时间较
“单个分片的最大错误记录数”填写错误记录阈值。 在“脏数据目录”填写一个脏数据的保存位置,例如“/user/sqoop/obs2hdfs-dd”。 单击“保存并运行”。 在“管理作业界面”,查看作业运行结果。可以单击“刷新列表”获取作业的最新状态。 父主题: 使用Loader
产生告警的主机名。 对系统的影响 可能引起Manager主备倒换。Manager和组件WebUI认证服务不可用,无法对Web上层服务提供安全认证和用户管理功能,可能引起无法登录Manager和组件的WebUI。 可能原因 Manager中LdapServer进程故障。 处理步骤 检查Mana
Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令cat /proc/sys/net/ipv4/ip_local_port_range,获取该主机的随机端口范围配置,查看最小值是否小于32768。
排查业务中是否写入过的单副本的文件。 是,执行4。 否,执行7。 以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询MRS集群管理员。执行如下命令: 安全模式: cd 客户端安装目录 source bigdata_env kinit hdfs 普通模式: su - omm
图1 Spark架构 表1 基本概念说明 模块 说明 Cluster Manager 集群管理器,管理集群中的资源。Spark支持多种集群管理器,Spark自带的Standalone集群管理器、Mesos或YARN。Spark集群默认采用YARN模式。 Application Spark应用,由一个Driver
参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv.zip”、“pyflink-kafka.py”和“insertData2kafka.sql”文件上传至客户端环境。
题。 通过Manager页面查看Kafka服务状态及监控指标。 MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight
要调大“spark.history.retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,在左侧的导航列表中,单击“JobHistory2x > 界面”,配置如下参数。
要调大“spark.history.retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,在左侧的导航列表中,单击“JobHistory2x
待创建的表的名称。该表用于加载数据进行分析。 表名由字母、数字、下划线组成。 productdb 数据库名称。该数据库将与其中的表保持逻辑连接以便于识别和管理。 数据库名称由字母、数字、下划线组成。 productName storeCity storeProvince procuctCategory
arch服务,并且两个集群之间网络互通。 适用于MRS 3.x及之后版本。 步骤一:配置云搜索服务索引并下载jar包 在云搜索服务的“集群管理”页面上,单击集群“操作”列的“Kibana”访问集群,在Kibana的左侧导航中选择“Dev Tools”,进入Console界面,输入
java:110) 通过Manager页面,查看当前Kafka集群配置。 MRS Manager界面操作:登录MRS Manager,选择“服务管理 > Kafka > 服务配置”,“参数类别”设置为“全部配置”,发现“KAFKA_JVM_PERFORMANCE_OPTS”的中“-XX
要用HFS的接口进行读取。 使用HFS接口存储在HDFS中的数据,暂不支持备份与容灾。 操作步骤 登录MRS Manager。 单击“服务管理 > HBase > 服务配置”,“参数类别”类型选择“全部配置”,然后在左边窗口选择“HMaster > 系统”。 在“hbase.coprocessor