检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的filter的要求返回正确的值。 可能原因 如果filter使用更高精度的double数据类型的数值,系统将会对该值四舍五入进行比较,因此在这种情况下,即使小数部分不同,系统仍然会认为double数据类型的值是相同的。 定位思路 无。 处理步骤 当需要高精度的数据比较时,可以使
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务,且大部分服务的存储都依赖于HDFS文件系统。当集群运行时,不同组件(例如Spark、Yarn)或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的,因此用户需要提前做好规划,防止单个目录下的文件数目超过阈值,导致任务出错。
Flume基本原理 Flume是一个高可用、高可靠,分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。其中Flume-NG是Flume的一个分支,其特点
配置完成后,单击“保存”。 单击“概览”进入Loader服务概览界面,选择“更多 > 重启服务”,验证用户身份后,单击“确定”,等待重启成功。 父主题: 管理Loader作业
0版本中的所有特性,详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。 MRS系统提供的扩展Hive语句如表1所示。 表1 扩展Hive语句 扩展语法 语法说明 语法示例 示例说明 CREATE [TEMPORARY] [EXTERNAL]
告警”页面,查看该告警的“定位信息”和“附加信息”,获取该告警上报的故障磁盘位置信息。 以root用户登录上报告警的节点,用户密码为安装前用户自定义,请咨询系统管理员,进入故障磁盘所在目录,使用ll命令查看该故障磁盘的权限是否711,用户是否为omm。 是,执行8。 否,执行6。 修改故障磁盘权限,
computing. 在云服务列表中选择“存储 > 对象存储服务”,登录OBS管理控制台。 单击“并行文件系统”,创建一个并行文件系统,并上传测试数据文件。 例如创建的文件系统名称为“mrs-demo-data”,单击系统名称,在“文件”页面中,新建一个文件夹“flink”,上传测试数据至该目录中。
通过应用来隔离不同的上层业务。 创建应用 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,在弹出的页面中填写应用信息,单击“确定”,完成应用创建。
进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
Load导入数据时报错“failed to send batch”或“TabletWriter add batch with unknown id”。 原因分析 系统并发量较大或数据量大导致任务执行超时。 处理步骤 登录MySQL客户端,执行以下命令适当调大“query_timeout”参数值,默认为300秒。
HBase通过接口调用,可提供的功能如表1所示。 表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删 高级特性 过滤器、二级索引,协处理器 管理功能 表管理、集群管理 父主题: HBase应用开发概述
所示。 表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删。 高级特性 过滤器、二级索引,协处理器。 管理功能 表管理、集群管理。 父主题: HBase应用开发概述
此处参数设置的为Loader全局的默认分隔符,如果作业的转换步骤中配置了分隔符,则以转换步骤为准,转换步骤中没有配置分隔符则以此处的默认分隔符为准。 父主题: Loader运维管理
告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 触发条件 告警触发的条件。 对系统的影响 业务延迟:主机磁盘IO写入等待时长过高时,可能会导致业务进程运行处理缓慢、业务延迟。
此工具会初始化Carbon环境和预读取表的元数据到JDBCServer,所以更适合在多主实例、静态分配模式下使用。 父主题: Spark运维管理
13:24 flumeMonitor.log 其中FlumeClient.log即为Flume客户端的运行日志。 父主题: Flume运维管理
13:24 flumeMonitor.log 其中FlumeClient.log即为Flume客户端的运行日志。 父主题: Flume运维管理
准备一个提交Flink作业的用户。 登录Manager,选择“系统 > 权限 > 角色”,单击“添加角色”,输入角色名称与描述。在“配置资源权限”的表格中选择“待操作集群的名称 > Flink”,勾选“FlinkServer管理操作权限”,单击“确定”,返回角色管理。 选择“系统 > 权限 > 用户”,单击“添
装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 执行ping 备Manager心跳IP地址命令检查备Manager服务器是否可达。 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。
登录FusionInsight Manager。 选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称,例如developrole。 在“配置资源权限”的表格中配置以下参数后,单击“确定”保存。 选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/