检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置数据的压缩算法,这里的压缩是HFile中block级别的压缩。对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encodin
ALM-12038 监控指标转储失败(2.x及以前版本) 告警解释 用户在MRS Manager界面配置监控指标转储后,转储失败时产生该告警。 转储成功后,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12038 严重 是 告警参数 参数名称 参数含义 ServiceName
在普通模式下,获取“src\flink-examples”下的样例工程flink-examples-normal。 在导入样例工程之前,IntelliJ IDEA需要进行配置JDK。 打开IntelliJ IDEA,单击“Configure”下拉按钮。 图2 Choosing Configure 在“Con
Spark故障排除 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错 加载空的part文件时,app无法显示在JobHistory的页面上
中,确保本地机器能与集群各主机在网络上互通。 准备ThriftServer实例配置文件 若需实现访问HBase ThriftServer并进行表相关操作,则需执行以下步骤获取相关配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置
开启Oozie HA机制 操作场景 Oozie多个节点同时提供服务的时候,通过ZooKeeper来提供高可用(HA)功能,防止单节点故障以及多节点同时处理一个任务。 MRS 3.3.1及之后版本Oozie默认开启HA机制,无需执行该章节操作。 对系统影响 操作过程中需要重启Ooz
默认取值: 不涉及 resource_pool_name String 参数解释: 资源池名称。 约束限制: 当集群版本不支持按指定资源池进行弹性伸缩时,需要填写为default资源池。 取值范围: 只能由英文字母、数字以及“_”和“-”组成。 默认取值: 不涉及 auto_scaling_policy
典型场景:从HBase导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HBase导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取SFTP服
使用Loader从HBase导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HBase导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取SF
在普通模式下,获取“src\flink-examples”下的样例工程flink-examples-normal。 在导入样例工程之前,IntelliJ IDEA需要进行配置JDK。 打开IntelliJ IDEA,单击“Configure”下拉按钮。 图2 Choosing Configure 在“Con
配置并导入SpringBoot样例工程 操作场景 为了运行MRS产品Doris组件的SpringBoot接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发SpringBoot方式连接Doris服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取
使用External Shuffle Service提升性能 操作场景 Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据,给其他Executor提供shuffle数据。当Executor进程任务过重,导致GC而不
在普通模式下,获取“src\flink-examples”下的样例工程flink-examples-normal。 在导入样例工程之前,IntelliJ IDEA需要进行配置JDK。 打开IntelliJ IDEA,单击“Configure”下拉按钮。 图2 Choosing Configure 在“Con
DGC方式如何创建Flink Hive Sql作业 问题现象 使用DGC方式如何创建Flink Hive Sql作业。 解决方法 若通过DGC方式创建提交Flink Hive作业,以读Kafka写Hive作业为例,步骤如下: 提前在Hive客户端中创建Hive表。例如: create
开启Oozie HA机制 操作场景 Oozie多个节点同时提供服务的时候,通过ZooKeeper来提供高可用(HA)功能,防止单节点故障以及多节点同时处理一个任务。 本章节内容仅适用于MRS 3.1.2及之后版本。 对系统影响 操作过程中需要重启Oozie服务。重启过程中,Oozie服务无法提供服务。
配置并导入SpringBoot样例工程 操作场景 为了运行MRS产品Doris组件的SpringBoot接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发SpringBoot方式连接Doris服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取
典型场景:从Hive导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从Hive导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码,
使用Loader从Hive导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从Hive导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和
FlinkIoTDBSource样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb source,通过flink job将时序数据从IoTDB读取出来并且打印。 代码样例 该示例演示了Flink job 如何从IoTDB server读取时序数据的场景: Flink使用IoTDBSource从
值为“false”。 DELETE 删除文件。 NA 配置描述 必须定期调用迁移工具,并需要在客户端的“hdfs-site.xml”文件中进行以下配置。 表3 参数描述 参数 描述 默认值 dfs.auto-data-movement.policy.class 用于指定默认的数据迁移策略。