检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
典型场景:从SFTP服务器导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码,且该用户具备
在Windows中调测Presto应用开发 申请一台Windows的ECS访问MRS集群操作Presto。申请ECS访问MRS集群的步骤如下: 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台
ALM-12057 元数据未配置周期备份到第三方服务器的任务 告警解释 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务,然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务,将发送重要告警。 在用户创建元数据周期备份到第三方服务器的任务后,告警消除。
ALM-12037 NTP服务器异常 告警解释 系统每60秒周期性检测NTP服务器的状态,当连续10次监控到NTP服务器异常时产生该告警。 当NTP服务器异常消除时,该告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12037 重要 是 告警参数 参数名称 参数含义 来源
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
修改MRS集群NTP服务器 如果未配置NTP服务器或已配置的NTP不再使用,管理员可以为MRS集群重新指定或者更换新的NTP服务器,使集群从新的NTP时钟源同步时间。 本章节仅适用于MRS 3.x及以后版本。 修改MRS集群NTP服务器前提条件 请准备新的NTP服务器并获取IP地址
Spark Structured Streaming状态操作样例程序开发思路 场景说明 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp; 同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据
Spark Structured Streaming状态操作样例程序开发思路 场景说明 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp。 同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据
切换MRS租户资源调度器 操作场景 新安装的MRS集群默认即使用了Superior调度器,集群管理员可以根据实际情况参考以下指导切换集群调度器。 前提条件 确保集群网络通畅,网络环境安全,Yarn服务状态正常。 在切换调度器期间,不允许做添加、删除、修改租户,以及启停服务等操作。
Spark Structured Streaming状态操作样例程序开发思路 场景说明 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp; 同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据
Spark Structured Streaming状态操作样例程序开发思路 场景说明 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp; 同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据
写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据,函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb.examples
ALM-19000 HBase服务不可用 告警解释 告警模块按120秒周期检测HBase服务状态。当HBase服务不可用时产生该告警。 HBase服务恢复时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 19000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称
计费类 创建MRS集群时计价器为什么未显示价格? MRS集群中的弹性伸缩功能如何收费? MRS集群的Task节点如何收费? 退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理?
登录MRS集群节点 本章节介绍如何使用弹性云服务器管理控制台上提供的远程登录(VNC方式)和如何使用密钥或密码方式(SSH方式)登录MRS集群中的节点,远程登录主要用于紧急运维场景,远程登录弹性云服务器进行相关维护操作。其他场景下,建议用户采用SSH方式登录。 如果需要使用SSH方式登录集群节点
使用CDM服务迁移MySQL数据至MRS Hive 应用场景 MapReduce服务(MapReduce Service,简称MRS)提供企业级大数据集群云服务,里面包含HDFS、Hive、Spark等组件,适用于企业海量数据分析。 其中Hive提供类SQL查询语言,帮助用户对大规模的数据进行提取
典型场景:从HDFS导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将文件从HDFS导入到ClickHouse。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS目录和数据。 ClickHouse