正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则,例如:setCaching。
查看Flink应用调测结果 操作场景 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB
Ranger基本原理 Apache Ranger提供一个集中式安全管理框架,提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限
ALM-45637 FlinkServer作业task持续背压 适用于MRS 3.1.2及之后版本。 告警解释 系统以用户配置的告警周期检查作业Task持续背压时间,如果FlinkServer作业Task持续背压时间达到用户配置的阈值,则发送告警。当作业Task背压恢复或者作业重启成功,则告警恢复。
ALM-12007 进程故障(2.x及以前版本) 告警解释 进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时,产生该告警。 当进程连接正常时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12007 严重 是 告警参数 参数名称
ALM-13002 ZooKeeper内存使用量超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测ZooKeeper服务内存使用状态,当检测到ZooKeeper实例内存使用量超出阈值(最大内存的百分之八十)时产生该告警。 内存使用率小于阈值时,告警恢复。 告警属性 告警ID
ALM-18000 Yarn服务不可用(2.x及以前版本) 告警解释 告警模块按30秒周期检测Yarn服务状态。当检测到Yarn服务不可用时产生该告警。 Yarn服务恢复时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 18000 致命 是 告警参数 参数名称 参数含义 ServiceName
准备Presto应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 建议JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle
ALM-24004 Flume读取数据异常(2.x及以前版本) 告警解释 告警模块对Flume Source的状态进行监控,当Source读取不到数据的时长超过阈值时,系统发送告警。 用户可通过配置修改阈值。 当Source读取到数据,且告警处理完成时,告警恢复。 告警属性 告警ID
ALM-45636 Flink作业连续checkpoint失败 本章节仅适用于MRS 3.1.2及至MRS 3.3.0版本。 告警解释 系统以用户配置的告警周期检查Checkpoint连续失败次数,如果Flink作业Checkpoint连续失败次数达到用户配置的阈值,则发送告警。
创建MRS集群数据备份任务 Manager支持在界面上创建备份任务,运行备份任务对指定的数据进行备份。 创建数据备份任务(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“运维 > 备份恢复 > 备份管理 > 创建”。 图1 创建备份任务 设置“
配置通过ELB访问ClickHouse 当前ClickHouse不管是多分片还是多副本都是以集群方式部署,如果对外直接提供服务,将暴露多个节点服务,没有统一的访问入口。ClickHouse官方虽然提供了BalancedClickhouseDataSource的驱动方案,可以支持多
ALM-24001 Flume Agent异常 告警解释 Flume Agent监控模块对Flume Agent状态进行监控,当Flume Agent进程故障(每5秒检测一次)或Flume Agent启动失败时(即时上报告警),系统产生此告警。 当检测到Flume Agent进程故障恢复,Flume
ALM-25006 Sssd服务异常 告警解释 系统每60秒周期性检测sssd服务的状态,如果连续4次(3分钟)查询不到sssd进程或者无法获取LdapServer中的用户时,产生该告警。 当进程恢复且可以获取LdapServer中的用户时,告警恢复。 告警属性 告警ID 告警级别
通过ELB访问ClickHouse 当前ClickHouse不管是多分片还是多副本都是以集群方式部署,如果对外直接提供服务,将暴露多个节点服务,没有统一的访问入口。ClickHouse官方虽然提供了BalancedClickhouseDataSource的驱动方案,可以支持多节点