检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
channel又达到了过期时间，该channel就被终止了，AM端感知到channel被终止后认为driver失联，然后整个应用停止。 解决办法：在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark
闭此功能。由于批处理中分区中插入记录的数量众多，总会出现小文件。Hudi提供了一个选项，可以通过将对该分区中的插入作为对现有小文件的更新来解决小文件的问题。此处的大小是被视为“小文件大小”的最小文件大小。 104857600 byte hoodie.copyonwrite.insert
nitor.chore (SplitLogManager.java:745) 节点上下电，RegionServer的wal分裂失败导致。 解决办法 停止HBase组件。 通过hdfs fsck命令检查/hbase/WALs文件的健康状态。 hdfs fsck /hbase/WALs
应用和作业，并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 因此，MRS大数据集群提供了完整的企业级大数据多租户解决方案。多租户是MRS大数据集群中的多个资源集合（每个资源集合是一个租户），具有分配和调度资源（资源包括计算资源和存储资源）的能力。 特性优势
jar文件中UDF函数全限定类名一一对应。 上传UDF jar文件后，服务器默认保留5分钟，5分钟内单击确定则完成UDF创建，超时后单击确定则创建UDF失败并弹出错误提示：本地UDF文件路径有误。 在UDF列表中，可查看当前应用内所有的UDF信息。可在对应UDF信息的“操作”列编辑或删除UDF信息（只能删除未被使用的UDF项）。
3.1.0.0.8及之后版本的任意一个补丁。 是，可以直接安装MRS 3.1.0.0.16补丁，此时安装MRS 3.1.0.0.16补丁会提示需要用户输入root密码或者密钥。 否，需要先安装MRS 3.1.0.0.8补丁，安装完需要重启相关服务，具体请参考MRS 3.2.0-LTS
cd 客户端安装目录 source bigdata_env 如果集群采用安全版本，要执行以下命令进行安全认证： kinit hbase 按提示输入密码（向MRS集群管理员获取密码）。 执行以下命令查看目前负载均衡功能是否打开，结果显示为“true”，则表示负载均衡功能已打开。 hbase
ckHouse节点数据盘暂不支持通过该操作进行扩容。 在“新增容量(GB)”参数下修改需要增加的磁盘容量，修改完成后单击“下一步”。 按照提示仔细阅读扩容须知，单击“我已阅读，继续扩容”，确认扩容的磁盘容量信息无误后，单击“提交订单”。 以root用户登录到ClickHouse的扩容节点上，执行命令：df
名称。 选择“更多 > 下载客户端”，弹出“下载集群客户端”信息提示框。 图1 下载客户端 在只安装单个服务的客户端的场景中，选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。 “选择客户端类型”中选择“完整客户端”。 “仅配置文件”下
这是性能规格的问题，MapReduce任务运行失败的根本原因是由于ApplicationMaster的内存溢出导致的，即物理内存溢出导致被NodeManager kill。 解决方案： 将ApplicationMaster的内存配置调大，在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数：
升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 升级组件安装包 该操作可以解决添加服务、添加实例、新下载客户端场景下的补丁安装。 登录集群主OMS节点，执行以下命令。 su - omm cd /opt/Bigdata/patches/MRS_3
化对资源分配或业务逻辑进行更改时，手动扩缩容的场景需要用户登录集群节点进行操作。对于弹性伸缩场景，MRS支持通过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作，自动适应业务负载的变化，免去了人工操作。同时，自动化脚本给用户实现个性需求提供了途径，完全自定
channel又达到了过期时间，该channel就被终止了，AM端感知到channel被终止后认为driver失联，然后整个应用停止。 解决办法： 在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark
数据倾斜是经常存在的，因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大，导致大部分Reduce都已完成任务，但少量Reduce任务还没完成的情况。 解决数据倾斜的问题，可通过设置“set hive.optimize.skewjoin=true”并调整“hive.skewjoin.key”的大小。“hive
datasource.write.recordkey.field产生主键和分区方式。 说明： 写入设置KeyGenerator与表保存的参数值不一致时将提示需要保持一致。 org.apache.hudi.keygen.ComplexKeyGenerator 同步Hive表配置 表2 同步Hive表参数配置
IoTDBServer实例节点ip -p IoTDBServer RPC端口 运行该命令后，根据实际需求指定业务用户名： 指定业务用户名，则输入“yes”，并根据提示输入业务用户名和对应的业务用户密码： 不指定业务用户名，则输入“no”；此时，则使用5中的用户执行后续操作： 输入其他，则退出登录： 集群
入客户端安装目录，然后执行source bigdata_env。 如果集群采用安全版本，要进行安全认证。 执行kinit hdfs命令，按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令，确认删除无用的文件。 检查本告警是否恢复。
cn=pg_search_dn,ou=Users,dc=hadoop,dc=com -e ppolicy 输入LDAP用户pg_search_dn的密码，出现如下提示表示该用户被锁定，则需要解锁用户，具体请参见解锁MRS集群LDAP管理账户。 ldap_bind: Invalid credentials
repository”参数，依次单击“Apply > OK”。 图12 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File > Settings...”。 图13 Settings 在弹出的
table_name;，进行全表查询，表内数据过多。 beeline默认启动内存128M，查询时返回结果集过大，导致beeline无法承载导致。 解决办法 执行select count(*) from table_name;前确认需要查询的数据量大小，确认是否需要在beeline中显示如此数量级的数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
