检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 import com.huawei.rt.flink.core.{SEvent, SEventSourceWithChk
在。 iotdb/iotdbserver 存放IoTDB服务的业务数据。 doris/be 存放Doris数据库数据。 元数据分区目录最多使用4块磁盘(data1~data4),各元数据目录根据表2依次映射到“/srv/BigData/data1”~“/srv/BigData/d
缩成功/失败的场景下,由MRS管理面通过邮件或短信方式通知对应用户。 管理面检查大数据集群的告警信息,如果大数据集群的告警信息影响到服务的使用,其告警级别达到致命时,则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为,会导致大数据集群异
xml”、“hdfs-site.xml”。获取Yarn客户端配置文件(下载路径/Yarn/config)中的“core-site.xml”。 用于替换原有代码的中的使用的配置文件。 分别在HDFS和Yarn的“core-site.xml”文件中增加访问OBS的信息,具体如下: <property> <name>fs
该用户属于hive、hadoop、supergroup组,主组为hive,角色绑定sparkstatic1。 配置Spark SQL防御使用约束 防御规则默认动态生效时间为6分钟。 仅支持SQL类型作业。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 静态规则s
动重启服务不断服。 MRS 2.1.0.6补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
参数解释: 数据连接状态。 约束限制: 不涉及 取值范围: -1:已删除 0:正常 -2:异常 1:使用中 默认取值: 不涉及 used_clusters String 参数解释: 使用集群。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 encrypt_type Integer
Master节点数量大于等于3个,小于等于11个。 节点组数量总和小于等于10个,非Master节点组中节点数量总和小于等于10000个。 管控数合设 生产环境或商用环境不推荐使用此场景。 管理节点、控制节点和数据节点合并部署时,集群性能和可靠性都会产生较大影响。 如节点数量满足需求,建议将数据节点单独部署。 Mas
collector.collect(total); } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了processing time。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
服务配置”,修改RangerAdmin配置。 搜索并修改配置项policymgr_https_keystore_password值为3中输入的证书密码,即输入的证书密码。 可以使用复制粘贴,此处密码不一致,将会导致Ranger组件重启失败。 保存配置,并滚动重启RangerAdmin。 确认RangerAdmin Web
参数解释: CPU使用率。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 memory_usage String 参数解释: 内存使用率。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 disk_usage String 参数解释: 硬盘使用率。 约束限制:
keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。
动重启服务不断服。 MRS 2.1.0.8补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
直接重启 计算实例重启期间无法执行SQL任务。 直接重启耗时约5分钟 滚动重启 不支持滚动重启。 - MemArtsCC 直接重启 重启期间无法使用缓存数据,影响上层组件性能 直接重启耗时3~5分钟 滚动重启 重启时仅部分缓存数据不可读,不影响整体业务 滚动重启耗时约10分钟,节点数越多时间越长
udfState.getState(); } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了processing time。 下面代码片段仅为演示,完整代码参见FlinkCheckpointJavaExample样例工程下的com
在告警列表中单击该告警,从完整的告警信息中的“定位信息”处获得“主机名”。 以omm用户进入主集群HBase客户端所在节点。 如果集群采用了安全版本,要进行安全认证,然后使用hbase用户进入hbase shell界面。 cd /opt/client source ./bigdata_env kinit hbaseuser
产生告警的主机名。 对系统的影响 老年代GC时间超出阈值,会影响HBase数据的读写变慢,严重情况下,会出现请求超时。 可能原因 该节点HBase实例内存使用率过大,或配置的堆内存不合理,或HBase存在大量的IO操作,导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight Manager首页,选择“运维
参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果是安全集群,执
ientConfig ./install.sh /opt/hadoopclient 配置安全认证及加密。可参考“组件操作指南”的“从零开始使用Flink”。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\springboot\flink-examples”目录下
ientConfig ./install.sh /opt/hadoopclient 配置安全认证及加密。可参考“组件操作指南”的“从零开始使用Flink”。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\springboot\flink-examples”目录下