检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink应用开发简介 简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并
MRS 2.1.0.9补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.9 发布时间 2020-08-21 解决的问题 MRS 2.1.0.9 修复问题列表： MRS Manager 解决MRS Executor内存溢出问题 优化扩容流程 解决sparkSql包含空格的情况拼接sql错误问题
MRS 2.1.0.10补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.10 发布时间 2020-09-21 解决的问题 MRS 2.1.0.10 修复问题列表： MRS Manager 解决安装补丁后扩容会导致capacity-schedule.xml中新增的队列配置丢失问题
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，在操作列表中单击“安装”。 进入“警告”页面，阅读补丁说明，并单击“确定”。 图1 安装补丁 请确保集群允许root登录，并且所有节点的root密码一致。
CDL故障排除 停止CDL任务时报“403”错误 CDL任务运行一段时间后发生“104”或“143”报错 从ogg同步数据到Hudi时，ogg Source配置的Task值与任务实际运行的Task数量不一致 CDL同步任务名对应的Topic分区过多 执行CDL同步数据到Hudi任务报错当前用户无权限创建表
管理MRS集群 MRS集群管理概述 MRS集群Manager简介 访问MRS集群Manager 管理MRS集群 管理MRS集群组件 管理MRS集群节点 管理MRS集群客户端 管理MRS集群作业 管理MRS集群租户 管理MRS集群用户 管理MRS集群元数据 管理MRS集群静态服务资源
Hive分区修剪的谓词下推增强 配置场景 在旧版本中，对Hive表的分区修剪的谓词下推，只支持列名与整数或者字符串的比较表达式的下推，在2.3版本中，增加了对null、in、and、or表达式的下推支持。 配置参数 登录FusionInsight Manager系统，选择“集群 >
MRS 2.1.0.11补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.11 发布时间 2020-12-30 解决的问题 MRS 2.1.0.11 修复问题列表： MRS Manager 解决executor/knox/os日志不回滚问题 增加executor
客户端使用类 如何关闭ZooKeeper的SASL认证？ 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理？ ClickHouse客户端执行SQL查询时报内存不足如何处理？ MRS如何连接spark-shell？ MRS如何连接spark-beeline？
Hue与其他组件的关系 Hue与Hadoop集群的关系 Hue与Hadoop集群的交互关系如图1所示。 图1 Hue与Hadoop集群 表1 Hue与其它组件的关系 名称 描述 HDFS HDFS提供REST接口与Hue交互，用于查询、操作HDFS文件。 在Hue把用户请求从用户
Doris数据变更规范 该章节主要介绍Doris数据变更时需遵循的规则和建议。 Doris数据变更规则 应用程序不能直接使用delete或者update语句变更数据，可以使用CDC的upsert方式来实现。 不建议业务高峰期或在表上频繁的进行加减字段，建议在业务前期规划建表时预留
访问Hue WebUI界面 操作场景 MRS集群安装Hue组件后，用户可以通过Hue的WebUI，在图形化界面使用Hadoop生态相关组件。 该任务指导用户在MRS集群中打开Hue的WebUI。 Internet Explorer浏览器可能存在兼容性问题，建议更换兼容的浏览器访问Hue
Channel：基于预写式日志（Write-Ahead Logging，简称WAL）的持久化实现 JDBC Channel：基于嵌入Database的持久化实现 Channel支持事务特性，可保证简易的顺序操作，同时可以配合任意数量的Source和Sink共同工作。 Sink S
HBase应用开发常见问题 Phoenix SQL查询样例介绍 HBase对外接口介绍 如何配置HBase双读功能 Phoenix命令行操作介绍 运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理 BulkLoad和Put应用场景有哪些
克隆MRS集群 当新建集群与某原有集群配置相同时，可使用克隆集群功能快速创建集群。 该功能暂时仅在北京四region开放，如需体验，请联系技术支持。 使用限制 已删除的集群仅支持删除3个月内的集群进行克隆。 克隆包周期集群时默认不自动续费。 磁盘类型为专属分布式存储的集群不允许克隆。
配置Hudi通过Guardian访问OBS 对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env 修改配置文件： vim 客户端安装目录/Hud
访问Hue WebUI界面 操作场景 MRS集群安装Hue组件后，用户可以通过Hue的WebUI，在图形化界面使用Hadoop生态相关组件。 该任务指导用户在MRS集群中打开Hue的WebUI。 Internet Explorer浏览器可能存在兼容性问题，建议更换兼容的浏览器访问Hue
DBService 数据库连接数使用率 27005 数据库连接数使用率超过阈值 可能导致上层服务无法连接DBService的数据库，影响正常业务。 90% 数据目录磁盘空间使用率 27006 数据目录磁盘空间使用率超过阈值 业务进程不可用。 当数据目录磁盘空间使用率超过90%时，数据库进入只读
examples.KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} 开发思路 接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。
Admin Privilege） DROP FUNCTION Hive管理员权限（Hive Admin Privilege） ALTER DATABASE Hive管理员权限（Hive Admin Privilege） 父主题： Hive用户权限管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
