检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
er服务。 多主实例模式相比主备模式的HA方案,优势主要体现在对以下两种场景的改进。 主备模式下,当发生主备切换时,会存在一段时间内服务不可用,该段时间JDBCServer无法控制,取决于Yarn服务的资源情况。 Spark中通过类似于HiveServer2的Thrift JDB
应根据自己的数据规模和使用场景,平衡存储文件的存储组设置,以达到更好的系统性能。 所有的时间序列必须以root开始、以传感器作为结尾。 时间序列可以被看作产生时序数据的传感器所在的完整路径,在IoTDB中所有的时间序列必须以root开始、以传感器作为结尾。 父主题: IoTDB应用开发规范
默认取值: 不涉及 create_at Long 参数解释: 作业创建时间,十三位时间戳。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 update_at Long 参数解释: 作业更新时间,十三位时间戳。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 tenant_id
项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而产生异常。使用方式如下: 在执行“DriverManager.getConnection”方法获
项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下: 在执行“DriverManager.getConnection”方法获取J
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 资源组排队超过阈值可能导致大量任务处于排队状态,Presto任务时间超过预期,当资源组排队数超过该组最大排队数(maxQueued)时,会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。
登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight Manager界面,查看右上角任务。
provider中,一旦某进程中的一个NameNode发生故障,在同一进程中的所有HDFS client实例都会尝试再次连接NameNode,导致应用长时间等待超时。 当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时,会对系统造成负担。为了避免这种负担,MRS集群搭载了NameNode
Worker节点负载太高,出现OOM(Out of Memory)导致无法提供服务。 Worker节点出现GC导致自动重启。 调优方法: Worker节点本身故障: 若不同时间报错统一出现在同一个Worker上,优先排查该节点本身问题,例如网络是否正常,是否存在其它进程占用节点内存资源。 Worker节点负载太高或出现GC:
垃圾数据。请根据业务需要,在创建HBase表时手动修改该参数值为“true”。 用户在HBase表写入数据时手动指定了时间戳,且时间早于上一次该HBase表的备份时间,则在增量备份任务中可能无法备份新数据。 HBase备份功能不支持对HBase的global或者命名空间的读取、写
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的Flink。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
表示作业类型,当“-u”的值为“y”时,必须配置。 指定参数值为“import”表示数据导入作业,指定参数值为“export”表示数据导出作业。 “-connectorType” 表示连接器类型,当“-u”的值为“y”时,必须配置。根据业务需要可修改外部数据源的部分参数。 指定参数值为“sftp”表示SFTP连接器。
作业执行成功或失败后都不能再次执行,只能重新添加作业。 队列名称 提交作业用户绑定的资源队列的名称。 作业提交时间 记录作业提交的开始时间。 作业结束时间 记录作业执行完成或手工停止的时间。 操作 对当前作业执行相关操作,请参考管理MRS集群作业。 查看MRS作业日志 登录MRS管理控制台。
不涉及 started_time Long 参数解释: 作业开始执行时间。单位:毫秒。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 submitted_time Long 参数解释: 作业提交时间。单位:毫秒。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及
活动的Name Node的详细信息,并将RPC调用保存到备用的NameNode。在异常情况下有很多优势,例如当备用的NameNode连接长时间不响应时。 当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS
活动的Name Node的详细信息,并将RPC调用保存到备用的NameNode。在异常情况下有很多优势,例如当备用的NameNode连接长时间不响应时。 当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS
Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。 在指定表的“权限”列,勾选“查询”。 设置在默认数据库中,插入其他用户表的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。
客户端后再次修改客户端配置。 (可选)支持MRS Manager页面以及组件原生页面超时时间可配置,需要手动修改如下配置。 修改所有Master节点的web和cas服务的session超时时间。 修改/opt/Bigdata/tomcat/webapps/cas/WEB-INF/web
向HBase表中插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com
limit配置来设置最小文件大小。用户可以将该配置设置为“0”,以强制新数据写入新的文件组,或设置为更高的值以确保新数据被“填充”到现有小的文件组中,直到达到指定大小为止,但其会增加摄取延迟。 为能够支持快速摄取的同时不影响查询性能,引入了Clustering服务来重写数据以优化Hudi数据湖文件的布局。