检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Windows通过EIP访问普通模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP,并配置HDFS文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Win
配置Windows通过EIP访问集群Spark 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Spark文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本
Sqoop读取MySQL数据到HBase时报HBaseAdmin.<init>方法找不到异常 问题 使用MRS的Sqoop客户端(1.4.7版本),从MySQL数据库中指定表抽取数据,存放到HBase(2.2.3版本)指定的表中,报出异常: Trying to load data
Presto配置多Hive连接 用户问题 Presto如何配置多Hive连接。 处理步骤 将目标Hive集群的core-site.xml,hdfs-site.xml文件复制分发到Presto集群上,放置在omm用户有读权限的路径下(如/home/omm),将文件属主改为omm:wheel,文件权限改为750。
备份Hive业务数据 操作场景 为了确保Hive日常用户的业务数据安全,或者系统管理员需要对Hive进行重大操作(如升级或迁移等),需要对Hive数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
备份HBase业务数据 操作场景 为了确保HBase日常数据安全,或者系统管理员需要对HBase进行重大操作(如升级或迁移等)时,需要对HBase业务数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
添加MySQL数据源 本章节适用于MRS 3.3.0及之后的版本。 HetuEngine支持配置MySQL数据源实现对MySQL数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加MySQL类型的JDBC数据源。 添加MySQL数据源前提条件 数据源与HetuEngine集群节点网络互通。
配置Container日志聚合功能 配置场景 YARN提供了Container日志聚合功能,可以将各节点Container产生的日志收集到HDFS,释放本地磁盘空间。日志收集的方式有两种: 应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。
IoTDB Kafka样例程序 功能简介 该样例介绍如何通过Kafka将数据发送到IoTDB。 代码样例 Producer.java: 该样例展示如何将时序数据发送到Kafka集群。 根据实际场景,修改“KafkaProperties.java”文件中的“TOPIC”变量,例如:public
配置Windows通过EIP访问普通模式集群HDFS 操作场景 该章节通过指导用户配置集群绑定EIP,并配置HDFS文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行HdfsExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Win
通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSFabric方式连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,完成对Hive数据源的增删改查操作。 import jaydebeapi driver = "io
Spark并发写Hudi建议 涉及到并发场景,推荐采用分区间并发写的方式:即不同的写入任务写不同的分区 分区并发参数控制: SQL方式: set hoodie.support.partition.lock=true; DataSource Api方式: df.write .format("hudi")
ALM-12038 监控指标转储失败(2.x及以前版本) 告警解释 用户在MRS Manager界面配置监控指标转储后,转储失败时产生该告警。 转储成功后,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12038 严重 是 告警参数 参数名称 参数含义 ServiceName
配置OpenTSDB参数 执行样例代码前,必须在样例代码工程“resources”目录下的opentsdb.properties中修改如下参数: tsd_hostname = node-ana-coreYQnTx tsd_port = 4242 tsd_protocol = https
约束与限制 使用MRS前,您需要认真阅读并了解以下使用限制。 MRS集群创建限制 表1 MRS集群创建约束说明 限制项 说明 网络要求 MRS集群必须创建在VPC子网内。 创建MRS集群时,支持自动创建安全组,也可选择已有的安全组。 MRS集群使用的安全组请勿随意放开权限,避免被恶意访问。
自定义购买MRS集群 本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。 MRS包含了多种大数据组件,用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群,也可自行选择组件列表及高级配置特性,自定义购买集群。
使用JDBC提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中,实现该功能的模块如下:
典型场景:从HBase导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HBase导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取SFTP服
使用Loader从HBase导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HBase导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取SF
添加ClickHouse数据源 ClickHouse数据源中同一个Schema(或Database)下不能存在名字内容相同但大小写格式不同的Table,例如:cktable(小写)、CKTABLE(大写)和CKtable(大小写混合),该内容的Table只能有一个,否则HetuE