检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive中一个中文字符长度为“1”;而Impala中一个中文字符的长度为“3”,从而导致在Impala SQL中使用substr(),substring(),strleft()等函数截取中文字符时,不能把中文当做1个字符长度来处理,导致报编码问题。 处理步骤 登录Impala客户端安装节点,执行以下命令。
Connection refused (172.16.4.200是DBService的浮动IP) DBService backup failed. 解决办法 登录DBService主节点(绑定有DBService浮动IP的master节点)。 检查 /etc/ssh/sshd_config文件
MRS组件jar包版本与集群对应关系说明 MRS 3.2.0-LTS.1 表1 MRS 3.2.0-LTS.1版本集群Maven仓库的jar版本与组件的对应关系 组件 组件版本 jar版本 Flink 1.15.0 1.15.0-h0.cbu.mrs.320.r33 Hive 3.1
数据处理单元,会将一或多个DataStream转换成一个新的DataStream。 具体可以细分如下几类: 一对一的转换:如Map。 一对0、1或多个的转换:如FlatMap。 一对0或1的转换,如Filter。 多对1转换,如Union。 多个聚合的转换,如window、keyby。 Topology
开发一个Consumer消费该Topic的数据。 性能调优建议 建议预先创建Topic,根据业务需求合理规划Partition数目,Partition数目限制了消费者的并发数。 消息key值选取一定是可变的,防止由于消息key值不变导致消息分布不均匀。 消费者尽量使用主动提交offset的方式,避免重复消费。
提供了Java语言的样例工程,包含添加用户、查找用户、修改用户、删除用户,导出用户列表等典型应用场景。 开发Manager应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 在本地开发环境中调测Manager应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。
Flink客户端执行命令报错“Could not connect to the leading JobManager” 使用不同用户执行yarn-session创建Flink集群失败 Flink业务程序无法读取NFS盘上的文件 自定义Flink log4j日志输出级别不生效
Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期,应用失败 为什么Spark Streaming应用创建输入流,但
MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化
ult或者abnormal 如何迁移Hive/HDFS的数据到ClickHouse 如何迁移OBS/S3的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时,日志报错 如何为ClickHouse用户赋予数据库级别的Select权限 ClickHouse
根据场景开发工程 提供了样例工程。 帮助用户快速了解MapReduce各部件的编程接口。 开发MapReduce应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测MapReduce应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。
eManager Web UI页面的Tracking URL打开 多个NameService环境下运行MapReduce任务失败 基于分区的任务黑名单异常如何处理 父主题: 使用Mapreduce
Doris 离线数据加载:通过Broker Load将ORC格式的Hive数据导入Doris 实时数据加载:通过FlinkSQL将订单表Kafka数据实时同步到Doris 实时OLAP数据查询:基于Unique表的单表检索查询和聚合查询 父主题: 数据分析
Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据,减少了Executor的压力,在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称 > 服务 >
MRS集群支持创建Task节点,只作为计算节点,不存放持久化的数据,是实现弹性伸缩的基础。 客户价值 在MRS服务只作为计算资源的场景下,使用Task节点可以节省成本,并可以更加方便快捷地对集群节点进行扩缩容,满足用户对集群计算能力随时增减的需求。 用户场景 当集群数据量变化不大而集群业务处理能力
hadoopConfiguration) //创建和hbase的连接通道 val connection: Connection = ConnectionFactory.createConnection(hbConf) //声明表的描述信息 val userTable
HetuEngine HetuEngine基本原理 HetuEngine与其他组件的关系 父主题: 组件介绍
Doris Doris基本原理 Doris与其他组件的关系 父主题: 组件介绍
Hue Hue基本原理 Hue与其他组件的关系 Hue开源增强特性 父主题: 组件介绍
Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题: 组件介绍