检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
值的数据:所有数据按RowKey的顺序进行扫描,然后将数据与特定的列值进行匹配,直到找到所需的数据。过滤器功能会scan一些不必要的数据以获取所需的数据。因此,Filter功能不能满足高性能标准频繁查询的要求。 这就是HBase HIndex产生的背景。如图1所示,HBase H
error when connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.x
error when connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.x
HDFS”,单击“NameNode Web UI”后的链接,选择“Utilities > Browse the file system”,查看并获取“hdfs://hacluster/tmp/plan.json”文件(单击“语义校验”后系统会在HDFS中会生成CompiledPlan文
务调度,执行端负责任务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示: Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量,决定一个并行度,创建多个Task去读取这些文件Block。
则HDFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的空间容量不合理 处理步骤 查看阈值设置是否合理 查看告警定位信息,获取上报告警的租户名称,租户目录。 在FusiongInsight Manager首页,在“租户资源”页面选择上报告警的租户名称,单击“资源”
DFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的文件目录数上限不合理 处理步骤 查看阈值设置是否合理 查看告警定位信息,获取上报告警的租户名称,租户目录。 在FusiongInsight Manager首页,单击“租户资源”页面选择上报告警的租户名称,单击“资源
表普通写数据与Bulkload批量写数据场景下的容灾。 本章节适用于MRS 3.x及之后版本。 前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manage
于加载的是客户端的spark.driver.extraJavaOptions,在集群节点上对应路径下找不到对应的kdc.conf文件,无法获取kerberos认证所需信息,导致ApplicationMaster启动失败。 解决办法 在客户端提交任务时,在命令行中配置自定义的spark
线程当前执行状态。 jstack PID > xxx.log 在集群详情页面选择“作业管理”页签,单击作业所在行“操作”列的“查看详情”,获取“实际作业编号”applicationID。 图2 作业详情 在集群详情页选择“组件管理 > Yarn > ResourceManager
打印日志将磁盘打满导致Yarn不可用的问题 解决Flink客户端ssl证书过期导致Flink任务提交失败问题 解决Flink写Hbase,获取的Hbase Connect7天超期,报Token has expired问题 解决Flink不支持对taskmanager.out文件进行log4j管控的问题
安全模式下需要执行安全准备,根据实际情况修改userKeyTablePath和userPrincipal为导入并配置Storm样例工程章节的步骤2中所获取用户的keytab文件路径和principal private static void securityPrepare(Config config)
供了企业级的大数据集群的统一管理平台: 提供集群状态的监控功能,您能快速掌握服务及主机的健康状态。 提供图形化的指标监控及定制,您能及时的获取系统的关键信息。 提供服务属性的配置功能,满足您实际业务的性能需求。 提供集群、服务、角色实例的操作功能,满足您一键启停等操作需求。 MRS
MRS Manager public ip access control rule”,便于用户识别。 图1 添加MRS集群安全组规则 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为MRS集群knox的端口,因此需要开启访问该端口的权限能访问Manager。
MRS Manager public ip access control rule”,便于用户识别。 图1 添加MRS集群安全组规则 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为MRS集群knox的端口,因此需要开启访问该端口的权限能访问Manager。
录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。 步骤四:准备应用程序及数据 MRS集群创建成功后,可获取集群客户端内的wordcount样例程序进行运行,也可准备上层业务自行开发的大数据应用程序并上传至集群。本指南以运行MRS集群客户端内的w
行,当执行到testFun函数时,需要从内存中取出testArg的值,但是testArg的值只在启动main函数的节点改变了,其他节点无法获取这些变化,因此它们从内存中取出的就是初始化这个变量时的值null,这就是空指针异常的原因。 应用程序结束之前必须调用SparkContext
With Hudi 是否对接Hudi。 是 DBZ Snapshot Locking Mode 任务启动执行快照时的锁模式。 minimal:仅在获取数据库schema和其他元数据时,持有全局读锁。 extend:在整个执行快照期间都持有全局读锁,阻塞全部写入操作。 none: 无锁模式
硬盘离线、硬盘坏道等故障。 处理步骤 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的。 从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是,执行4。 否,执行5。
前提条件 MRS 2.x及之前版本,已在Master1节点准备客户端。 MRS 3.x及之后版本,已在集群内的任一节点安装了客户端,并获取此节点IP地址。 修改Kerberos管理员用户密码 如果当前为MRS 3.x及之后版本,修改此用户密码将同步修改OMS Kerberos管理员密码。