检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本地环境使用开发工具下载依赖的jar包前，需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问：华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。
本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群及Flume服务。 确保集群网络环境安全。 操作步骤 配置Flume角色客户端参数。
需要重新设计key，以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作，使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换，数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeo
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是
ClickHouse数据库应用开发 在ClickHouse的使用过程中，由于使用不规范的方式访问和查询，导致业务失败的情况时有发生。此外，偶尔也会发生因为网络闪断等导致连接和查询失败的情况。 MRS提供了ClickHouse的样例代码工程，旨在提供连接重试机制和规范化用户连接和查询的方法，从而减
、Storm、Kafka组件。 在服务“概览”页面右上角单击“更多 > 停用Ranger鉴权”，如果“停用Ranger鉴权”是灰色，则表示未开启Ranger鉴权无需停用Ranger鉴权，如图1所示。 图1 停用Ranger鉴权 （可选）如需使用已有鉴权策略请执行该步骤在Ranger
执行ping 备Manager心跳IP地址命令检查备Manager服务器是否可达。 是，执行6。 否，执行4。 联系网络管理员查看是否为网络故障。 是，执行5。 否，执行6。 修复网络故障，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行6。 检查节点名配置是否正确。 进入主OMS节点软件安装目录。
备份恢复相关的操作目前只允许拥有ADMIN权限的用户执行。 一个DataBase内，只允许有一个正在执行的备份作业。 Doris数据备份支持最小分区（Partition）级别的操作，当表的数据量很大时，建议按分区分别执行，以降低失败重试的代价。 因为备份恢复操作，操作的都是实际的数据文件，所以当一个表的分片过多，
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是
接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下： 在执行“DriverManager
开发环境：Windows系统，推荐Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下： MRS集群的服务端和客户端仅支持自带的Oracle JDK（版本为1.8），不允许替换。
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 占用系统资源，业务进程响应变慢。 可能原因 主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态。 处理步骤 查看D状态进程。 打开MRS集群详情页面，在告警列表中，单击此告警所在行，在告警详情中，查看该告警的主机地址。
在。 是，执行11。 否，执行15。 检查网络是否故障，无法访问ldap服务器。 用root用户登录故障节点，在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是，执行6。 否，请联系网络管理员，解决网络故障。 检查Name Service服务是否异常。
执行以下命令检查备FlinkServer节点是否可达。 ping 备FlinkServer IP地址 是，执行6。 否，执行4。 联系网络管理员查看是否为网络故障。 是，执行5。 否，执行6。 修复网络故障，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行6。 检查/srv/BigData/Lo
进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。 登录FusionInsight Manager页面，选择“集群
登录ClickHouse服务异常的实例主机节点，并通过ping其他正常ClickHouse实例节点IP的方式进行网络是否互通验证。 是，执行3。 否，联系网络管理员修复网络。 以客户端安装用户，登录客户端的节点，执行如下命令： cd {客户端安装路径} source bigdata_env
进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平面网络互通，可下载集群客户端到本地，获取相关调测程序所需的集群配置文件及配置网络连通后，然后直接在Windows中进行程序调测。 登录FusionInsight Manager页面，选择“集群
用户可以在进程启动前，在进程的JVM参数中增加参数“-Dlog4j.configuration.watch=true”来打开动态设置日志级别的功能。进程启动后，就可以通过修改进程对应的log4j配置文件，来调整日志打印级别。 目前支持动态设置日志级别功能的有：Driver日志、E
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
