检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CarbonData首查优化工具 工具介绍 CarbonData 的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能： 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入 目录“/
登录HDFS的WebUI页面，进入DataNode的JMX页面。 在HDFS原生界面，选择Datanodes页面。 找到对应的DataNode节点，单击Http Address地址进入DataNode详情。 将url的“datanode.html”改为“jmx”就能获取到DataNode的JMX信息。
在“计算实例”页签的实例列表中的“操作”列单击“重启”，根据界面提示重启实例。 以客户端安装用户登录HetuEngine服务客户端所在节点，执行以下命令： source 客户端安装目录/bigdata_env 根据集群认证模式，完成HetuEngine客户端登录。 集群已启用K
Manager页面，选择“集群 > 服务 > HetuEngine > 更多 > 下载客户端”。 选择“完整客户端”，根据待安装客户端节点的节点类型选择正确的平台类型（x86选择“x86_64”，ARM选择“aarch64”），不勾选“仅保存到如下路径”，单击“确定”，等待客户端文件包自动生成并下载。
版本时，混合使用方案： 进入到服务端spark2x sparkResource的安装目录（这个集群安装过程中可能会安装在多个节点上，随便进入一个安装节点，cd到sparkResource的安装目录）。 准备好自己的jar包例如xx.jar的x86版本和TaiShan版本。将x86版本和TaiShan版本的xx
进入到服务端Spark2x SparkResource的安装目录（集群安装时，SparkResource可能会安装在多个节点上，登录任意一个SparkResource节点，进入到SparkResource的安装目录）。 准备好自己的jar包，例如xx.jar的x86版本和TaiShan
导入jdbc-example样例工程之后，运行时需修改以下参数： 将代码中HOST = "xxx"的“xxx”修改为Doris的Master FE节点IP地址，Master FE节点可通过在Manager界面，选择“集群 > 服务 > Doris”，查看“Leader所在的主机”获取。 将代码中PORT =
krbhost='hadoop.hadoop.com') 需按照实际环境修改以下参数： hiveserverIp：替换为实际需要连接的HiveServer节点IP地址，可登录FusionInsight Manager，选择“集群 > 服务 > Hive > 实例”查看。 hiveserverPor
告警”，查找告警“ALM-47004 MemArtsCC Worker的read请求平均时延超过阈值”，根据告警信息找到状态异常的MemArtsCC实例节点，并从附加信息中找到当前告警值。 在告警页面中查找是否存在磁盘相关的故障告警。 是，执行3。 否，执行4。 联系运维技术人员修复磁盘故障，查看该告警是否恢复。
登录到MRS集群装有ClickHouse客户端的节点，执行如下命令： su - omm source {客户端安装目录}/bigdata_env kinit 组件用户（普通集群无需执行kinit命令） clickhouse client --host clickhouse实例节点IP --port 9000
系统当前指标取值满足自定义的告警设置条件 对系统的影响 Worker4进程GC时间过长，会影响Worker4进程运行的性能，甚至造成Worker4进程不可用。 可能原因 该节点Worker4进程堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页，单击“运维
据迁移工具是基于表的分区进行数据迁移，在创建表时如果不携带PARTITION BY创建表分区，则在集群内ClickHouseServer节点间数据迁移界面无法对该表进行数据迁移。 方法二：创建一个与database_name2.table_name2具有相同结构的表，同时可以对其指定不同的表引擎声明。
CarbonData首查优化工具 工具介绍 CarbonData的首次查询较慢，对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能： 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端，例如安装目录为“/opt/client”。进入目录“/op
数据迁移工具是基于表的分区作数据迁移，在创建表时如果不携带PARTITION BY创建表分区，则在集群内ClickHouseServer节点间数据迁移界面无法对该表进行数据迁移。 方法二：创建一个与database_name2.table_name2具有相同结构的表，同时可以对其指定不同的表引擎声明。
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划
进入到服务端Spark2x SparkResource的安装目录（集群安装时，SparkResource可能会安装在多个节点上，登录任意一个SparkResource节点，进入到SparkResource的安装目录）。 准备好自己的jar包，例如xx.jar的x86版本和TaiShan
版本时，混合使用方案： 进入到服务端spark2x sparkResource的安装目录（这个集群安装过程中可能会安装在多个节点上，随便进入一个安装节点，cd到sparkResource的安装目录）。 准备好自己的jar包例如xx.jar的x86版本和TaiShan版本。将x86版本和TaiShan版本的xx
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况，可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用，Container会占用内存直到内存溢出；如果检测内存使用，当内存使用超过配置的内存大小时，相应的Container会被kill掉。
Spark应用开发环境简介 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装JDK 开发环境的基本配置。版本要求：1.7或者1.8。 说明： 基于安全考虑，MRS 服务端只支持TLS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
