检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
元数据存储目录 寻找所有FE的元数据存储目录,查看此存储目录下子文件“image/image.xxxx”,其中“image.xxxx”后面的数字越大表示元数据越新,找到最新的一个FE,作为即将首个恢复的FE,即Master。 备份所有FE的元数据存储目录。 例如,元数据存储目录为
期操作。 检查该告警是否恢复。 是,处理完毕。 否,执行9。 以root用户登录到产生告警的DataNode的节点,用户密码为安装前用户自定义,请咨询系统管理员。 如果告警原因为“DataNode数据目录创建失败”,执行10。 如果告警原因为“DataNode数据目录与系统关键目
选择主DBServer实例,记录IP地址。 以root用户登录上述IP所在主机,执行ifconfig命令查看DBService的浮动IP在该节点是否存在,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行5。 否,执行9。 执行ping 浮动IP地址命令检查DBService的浮动IP的状态,是否能ping通。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 证书文件已经失效,对应模块功能受限,无法正常使用。 可能原因 系统未导入证书(CA证书、HA根证书、HA用
放数据更大的价值。 表1 ClickHouse设计规范说明 项目 描述 数据库规划 集群业务规划、容量规划、数据分布。 数据库设计 Database设计、宽表设计、分布式表设计、本地表设计、分区设计、索引设计、物化视图设计。 数据库开发 简单查询、聚合查询、join查询、数据增/删/改等SQL开发。
参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式(目前支持四种格式:CSV、ORC、RC和PARQUET)。 说明: PARQUET格式是一种列式存储格式,PARQUET要求Loader的输出字段名和Hive表中的字段名保持一致。
参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式(目前支持四种格式:CSV、ORC、RC和PARQUET)。 说明: PARQUET格式是一种列式存储格式,PARQUET要求Loader的输出字段名和Hive表中的字段名保持一致。
配置向订阅者发送作业执行结果消息的规则。 表1 消息订阅规则参数说明 参数 示例 说明 规则名称 default_alert_rule1 用户自定义发送订阅消息的规则名称,只能包含数字、英文字符、中划线和下划线。 提醒通知 - 选择开启,将向订阅者发送对应订阅消息。 主题名称 - 选择
HetuEngine权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Enabled:启用当前策略。 Disabled:不启用当前策略。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP或IP段
ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,将自定义Source生成的数据写入Kafka DataStream<String> messageStream = env.addSource(new
equals("female"); } }).keyBy( new UserRecordSelector() ).window( TumblingEventTimeWindows.of(Time
--host ClickHouse的实例IP --user 登录名 --password --port ClickHouse的端口号 --database 数据库名 输入用户密码 在ClickHouse实例节点上创建和DWS表结构相同的表。 例如,当前执行以下建表语句,在ClickHo
WebUI界面,从PgSQL导入数据到Hudi。 前提条件 集群已安装CDL、Hudi服务且运行正常。 PgSQL数据库需要开启前置要求,操作步骤请参考PostgreSQL数据库修改预写日志的策略。 在FusionInsight Manager中创建一个人机用户,例如“cdluser”,加入用户组cd
ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,将自定义Source生成的数据写入Kafka DataStream<String> messageStream = env.addSource(new
shuffle.service.enabled false true 调整Spark调度参数优化OBS场景下Spark调度时延 开启对于OBS存储,可以关闭Spark的本地性进行优化,尽可能提升Spark调度效率 配置项 集群默认值 调整后 --conf spark.locality
监控状态报表: 主页界面的右侧为图表区,包含关键监控状态的报表,例如集群中所有主机的状态、主机CPU使用率、主机内存使用率等。用户可以自定义在图表区展示的监控报表,请参考查看MRS集群资源监控指标。 监控图表的数据来源可在图表的左下方查看,每个监控报表可以放大查看具体数值,也可以关闭不再显示。
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制,导致Spark Streaming应用运行失败
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制,导致Spark Streaming应用运行失败
选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端配置文件 查询并登录主Master节点。 若在集群内使用客户端,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户: