检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置使用分布式缓存执行MapReduce任务 配置场景 本章节操作适用于MRS 3.x及之后版本。 分布式缓存在两种情况下非常有用。 滚动升级 在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的Yarn,而是要基于其提交时的版本。一般情况下,应用程序(例如MapRedu
Project。若"pom.xml"图标如所示,可直接进行下一步骤操作。 图9 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。 图10 样例项目作为maven项目在IDEA中显示 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File
集群用户可以通过FusionInsight Manager创建恢复ClickHouse任务并恢复数据。只支持创建任务手动恢复数据。 ClickHouse备份恢复功能不支持识别用户的ClickHouse表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时,需要根据业务场景管理统一的恢复点,防止影响业务正常运行。
使用Flink 1.15.0及以前版本对接Kafka,在扩容Kafka Topic分区后,需要重启相关的Flink作业,否则会导致新分区识别不及时漏消费数据。或在开发作业时,配置Flink动态发现Kafka Topic新分区功能。 可在作业SQL Kafka source表的WITH属性中,添加“scan
算子输入、输出参数设置 输入类型 输出类型 MySQL输入 ClickHouse输出 在输入中把“表输入”拖拽到网格中,双击“表输入”,选择“自动识别”如图3所示。 图3 算子输入 在输出中把“ClickHouse输出”拖拽到网格中,双击“表输出”,选择“关联”或者手动编辑表格,与输入的表格对应,如图4所示。
算子输入、输出参数设置 输入类型 输出类型 MySQL输入 ClickHouse输出 在输入中把“表输入”拖拽到网格中,双击“表输入”,选择“自动识别”如图3所示。 图3 算子输入 在输出中把“ClickHouse输出”拖拽到网格中,双击“表输出”,选择“关联”或者手动编辑表格,与输入的表格对应,如图4所示。
不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。
不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。
MRS约束限制说明 MRS集群组件介绍 MRS产品功能 如果title超长,将自动截断(文字超长时,列表项样式改为:listitem_qFLwPs2_100) 如果title超长,将自动截断(文字超长时,列表项样式改为:listitem_qFLwPs2_100) 03 入门 创建M
Hive连接HDFS的超时时间,可以使用自定义配置项功能进行设置。在Hive的“core-site.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“组件管理”。
Flink应用开发常见问题 Flink常用API介绍 如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage
Flink应用开发常见问题 Flink常用API介绍 如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage
Flink应用开发常见问题 Flink常用API介绍 如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage
Flink应用开发常见问题 Flink常用API介绍 如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage
入方向规则”(页面入口:单击“管理安全组规则”)页签列表中描述列自动增加“MRS Manager public ip access control rule”,便于用户识别。 勾选确认信息后,单击“确定”。 单击“前往 Manager”右侧的按钮,可以切换访问FusionInsight Manager的方式,
消息订阅规则参数说明 参数 示例 说明 规则名称 default_alert_rule1 用户自定义发送订阅消息的规则名称,只能包含数字、英文字符、中划线和下划线。 提醒通知 - 选择开启,将向订阅者发送对应订阅消息。 主题名称 - 选择已创建的主题,也可以单击“创建主题”重新创建。
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字
连接成功后单击“确定”,完成集群连接创建。 表1 创建集群连接信息 参数名称 参数描述 取值样例 集群连接名称 集群连接的名称,只能包含英文字母、数字和下划线,且不能多于100个字符。 flink_hive 描述 集群连接名称描述信息。 - 版本 选择集群版本。 MRS 3 是否安全版本
from x1 where deviceinformationid='111'; 在执行数据查询操作后,如果查询结果中某一列的结果含有中文字等其他非英文字符,会导致查询结果中的列不能对齐,这是由于不同语言的字符在显示时所占的字宽不尽相同。 执行以下命令退出Spark运行环境。 !quit
务相关的表创建在自己业务库中,不要将业务的表创建在系统数据库中,避免对系统数据库造成不必要的影响。 命名规范设计规则 所有命名采用26个英文字母和0~9这10个自然数,加上下划线_组成,一般不要出现其他符号。 对象名尽量的短,能表达业务所使用数据库含义即可,以英文单词、单词组合或