检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对Kafka的性能调优,有以下几个点: 使用Kafka-0.8.2以后版本,可以使用异步模式的新Producer接口。 配置多个Broker的目录,设置多个IO线程,配置Topic合理的Partition个数。 详情请参见Kafka开源文档中的“性能调优”部分:http://kafka
如果使用Kafka,MySQL等外源数据,需要确保对应用户具备数据操作的权限。 开发思路 导入Flink相关依赖包,版本需与集群Flink版本一致。 构建源端数据源。 构建目标端Elasticsearch数据源(可以在构建数据源的时候,通过setRestClientFactory方法,配置自定义实现的UserRestClientFactory)。
flatMapGroupsWithState(...)操作中,用户自定义状态的schema或者超时类型都不允许发生变化;允许用户自定义state-mapping函数变化,但是变更结果取决于用户代码;如果需要支持schema变更,用户可以将状态数据编码/解码成二进制数据以支持schema迁移。
flatMapGroupsWithState(...)操作中,用户自定义状态的schema或者超时类型都不允许发生变化;允许用户自定义state-mapping函数变化,但是变更结果取决于用户代码;如果需要支持schema变更,用户可以将状态数据编码/解码成二进制数据以支持schema迁移。
flatMapGroupsWithState(...)操作中,用户自定义状态的schema或者超时类型都不允许发生变化;允许用户自定义state-mapping函数变化,但是变更结果取决于用户代码;如果需要支持schema变更,用户可以将状态数据编码/解码成二进制数据以支持schema迁移。
具,请根据指导完成不同语言的开发环境配置。 Hive应用开发环境简介 根据场景开发工程 提供了Java、Python两种不同语言的样例工程,还提供了从建表、数据加载到数据查询的样例工程。 Hive样例程序开发思路 运行程序及查看结果 指导用户将开发好的程序编译提交运行并查看结果。
影响,将导致主备模式下FlinkServer提交Flink作业功能无法正常使用,双主模式不受影响。 可能原因 用户HA证书文件即将到期。 处理步骤 查看告警信息。 登录FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-45654 Flink
ResourceManager IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceManager的HTTP端口。可登录FusionInsight Manager界面,选择“集群
-3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HDFS实例的节点上部署定期清理.out日志文件的定时任务。后台登录HDFS的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab -e 00 00
DBService进程没有停止成功,使用的端口未释放。 解决办法 该解决办法以20051端口被占用为例,20050端口被占用的解决办法与该办法类似。 以root用户登录DBService安装报错的节点主机,执行命令:netstat -nap | grep 20051查看占用20051端口的进程。 使用kill命令强制终止使用20051端口的进程。
ResourceManager IP地址:可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 实例”查看任一ResourceManager的业务IP获取。 端口:ResourceManager的HTTPS端口。可登录FusionInsight Manager界面,选择“集群
开发Kudu应用 建立Kudu连接 创建Kudu表 打开Kudu表 修改Kudu表 写Kudu数据 读Kudu数据 删除Kudu表 父主题: 开发Kudu应用
如何使用IBM JDK连接ZooKeeper 问题 使用IBM的JDK的情况下客户端连接ZooKeeper失败。 回答 可能原因为IBM的JDK和普通JDK的jaas.conf文件格式不一样。 在使用IBM JDK时,建议使用如下jaas.conf文件模板,其中“useKeyta
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 附加信息 详细信息 密码即将过期的用户名称。 对系统的影响 用户密码过期,该用户将无法正常使用。 可能原因 用户密码即将过期。 处理步骤 修改用户密码。 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警
OLdap服务不可用。 处理步骤 检查组件KrbServer服务所在节点是否故障。 登录MRS集群详情页面,选择“组件管理”。 选择“KrbServer > 实例”。进入KrbServer实例页面查看KrbServer服务所在节点的主机名。 在“告警管理”页面,查看是否有ALM-12006
开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Linux系统。 安装JDK和Maven 开发环境的基本配置:Java JDK 8或以上、Maven 3.3.9或以上 安装和配置Eclipse或IntelliJ IDEA 用于开发Alluxio应用程序的工具。 网络
namenode.delegation.token.max-lifetime”=“604800000”(默认是一星期) 参考修改集群服务配置参数,进入HDFS“全部配置”页面,在搜索框搜索该参数。 建议在token的最大生命周期内参数值为多倍小时数。 父主题: Yarn常见问题
namenode.delegation.token.max-lifetime”=“604800000”(默认是一星期) 参考修改集群服务配置参数,进入HDFS“全部配置”页面,在搜索框搜索该参数。 建议在token的最大生命周期内参数值为多倍小时数。 父主题: Yarn常见问题
查看告警信息。 登录FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-24014 MonitorServer证书文件即将过期 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期,重新生成证书文件。 以root用户登录告警所在节点主机,并执行su
Doris建表规范 Doris数据变更规范 Doris命名规范 Doris数据查询规范 Doris数据导入规范 Doris UDF开发规范 Doris连接运行规范