检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink SQL语法增强 本章节适用于MRS 3.3.0及以后版本。 FlinkSQL DISTRIBUTEBY FlinkSQL新增DISTRIBUTEBY特性，根据指定的字段进行分区，支持单字段及多字段，解决数据仅需要分区的场景。示例如下： SELECT /*+ DISTRIBUTEBY('id')
MRS集群已安装CDL组件，并且正常运行。 CDL数据同步任务使用到Kafka组件。 操作步骤 登录FusionInsight Manager，选择“集群 > 服务 > Kafka > 配置 > 全部配置”。 在右上角搜索框中搜索如下表2参数，并修改对应的参数值。 表2 修改Kafka参数 参数 推荐值
balancer_ip_list ClickHouse服务Balancer实例IP地址列表，整体使用括号括起，单个IP使用双引号引起，IP之间使用空格分隔。 ("192.168.1.1" "192.168.1.2") balancer_tcp_port ClickHouse服务Balancer实例TCP端口。
FlinkSQL Function增强 本章节适用于MRS 3.5.0及以后版本。 DATE_ADD函数 DATE_ADD函数用于返回指定日期增加目标天数后的日期。 参数说明 指定日期：数据类型为TIMESTAMP或者STRING（格式为：yyyy-MM-dd HH:mm:ss），支持参数为NULL的特殊情况。
持有锁的时间。 该操作仅适用于MRS 3.5.0及之后版本。 操作步骤 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面。 在搜索框中输入参数名称，根据实际需要，修改“HDFS”服务级别参数。 表1 HDFS异步删除特性配置参数 参数名称 描述 默认值 dfs.namenode
通过Manager界面上传至HDFS： 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HDFS”，进入HDFS服务页面。 在“概览”页签下的“基本信息”区域，单击“NameNode Web UI”后的链接，进入NameNode Web UI界面。
y_network”参数值导致BE启动时匹配了错误的IP地址。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置”。 搜索“priority_network”参数，并正确设置BE的该参数值，BE节点已绑定的网卡IP可通过“B
优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container
对系统的影响 更改DataNode角色的存储目录需要停止并重新启动HDFS服务，集群未完全启动前无法提供服务。 更改DataNode单个实例的存储目录需要停止并重新启动实例，该节点DataNode实例未启动前无法提供服务。 服务参数配置如果使用旧的存储目录，需要更新为新目录。 前提条件 在各
使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。 在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接，进入HSConsole界面。
SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check.log Spark2x服务健康检查日志。 spark-service-check
Spark Streaming性能调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。
Storm应用开发概述 Storm应用开发简介 Storm应用开发常用概念 Storm应用开发流程介绍 父主题： Storm开发指南
调测Kafka应用 前提条件 客户端本地能登录MRS服务的弹性云服务器，登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例：Maven工程打包到Linux下运行样例 执行mvn package生成j
OpenTSDB应用开发概述 OpenTSDB应用开发简介 OpenTSDB应用开发常用概念 OpenTSDB应用开发流程介绍 父主题： OpenTSDB开发指南
及为其添加默认Policy。如果用户在使用过程中误删了Service，可以重启或者滚动重启相应组件服务来恢复，若是误删了默认Policy，可先手动删除Service，再重启组件服务。 单击“Access Manager > Reports”，可查看各组件所有的安全访问策略。 系统
查看Ranger审计信息 Ranger管理员可通过Ranger界面查看Ranger运行审计日志及组件使用Ranger鉴权后权限管控审计日志信息。 查看Ranger审计信息内容 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger
x之前版本，操作如下： 登录MRS Manager页面，具体请参见访问集群Manager，然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数，或参数值为“false
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
