检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Worker1进程GC时间过长，会影响Worker1进程运行的性能，甚至造成Worker1进程不可用。 可能原因 该节点Worker1进程堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页，单击“运维 >
Worker2进程GC时间过长，会影响Worker2进程运行的性能，甚至造成Worker2进程不可用。 可能原因 该节点Worker2进程堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页，单击“运维 >
引入的第三方依赖包与Flink中的依赖包有冲突，第三方依赖包中的类不兼容，导致某些函数实例化失败。 解决方法 方法一：排包，排除引入的第三方jar中的冲突包，建议优先使用该方法。 方法二：将flink-conf.yaml配置文件中配置项“classloader.resolve-order”的值修改为“par
如果分桶字段存在30%以上的数据倾斜，则禁止使用Hash分桶策略，改为使用Random分桶策略，相关命令为： Create table ... DISTRIBUTED BY RANDOM BUCKETS 10 ... 建表时第一个字段一定是最常查询使用的列，默认有前缀索引快速查询能力，选
据库无法提供服务。 可能原因 CDL任务异常，数据停止处理；或源端数据库更新快，CDL数据处理较慢。 处理步骤 使用具有创建CDL任务的用户或者具有管理员权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警”，单击“告警ID”为“45617”
但Flinkserver可以提供服务。 可能原因 FlinkServer的主备实例中，有一个实例处于停止状态。 FlinkServer节点使用的HA浮点网卡配置异常，导致FlinkServer启动故障。 主备FlinkServer节点间链路异常。 处理步骤 检查FlinkServer主备实例状态。
【Tez WebUI】访问Tez WebUI界面报错404 用户问题 登录Manager界面，跳转Tez WebUI界面，显示404异常或503异常： 回答 Tez WebUI依赖Yarn的TimelineServer实例，需要预先安装TimelineServer，且处于良好状态。
并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并
配额说明 配额是用户账号在对应环境配置的可用资源额度，限定配额仅是为了防止资源滥用。 MapReduce服务通常使用的基础资源如下，配额由各个基础服务管理，如需扩大配额，请联系对应服务的技术支持进行扩容： 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP
认40%）时，告警恢复。 过载磁盘定义：磁盘分区的IO使用率大于80%的磁盘认为是过载磁盘。 例如： 某TopicA的Partition分布在三个Broker上，其中两个Broker上Partition所在磁盘分区的IO使用率大于80%。 那么，在过载磁盘上的Partition占比等于2/3，大于40%，触发告警。
MRS集群节点时间信息不正确如何处理？ 如果集群内节点时间不正确，请分别登录集群内时间不正确的节点，并从2开始执行。 如果集群内节点与集群外节点时间不同步，请登录集群外节点，并从1开始执行。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Master节点的IP并注释掉其他server的地址。
xml、validate-rule-session.xml、 validate-rule-user.xml三个配置文件。 处理步骤 以omm用户登录主Master节点的“/opt/Bigdata/om-server_*/apache-tomcat-*/webapps/web/WEB-INF/validate”路径。
实例进行分组。 针对实例组进行的配置参数修改，将同时对组内所有的实例生效。 本操作适用于MRS 3.x及之后版本。 管理MRS角色实例组 登录MRS集群Manager界面，详情请参考访问MRS集群Manager。 在Manager界面单击“集群 > 服务”。 单击服务视图中待操作的服务名称。
HetuEngine计算实例故障”告警是否清除。 是，处理完毕。 否，执行10。 检查HetuEngine计算实例状态。 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
Manager首页，选择“运维 > 告警 > 告警”中查看是否存在告警“ALM-14002 DataNode磁盘空间使用率超过阈值”。 是，执行6。 否，执行8。 参考ALM-14002 DataNode磁盘空间使用率超过阈值进行处理，查看对应告警是否清除。 是，执行7。 否，执行8。 等待5分钟，检查该告警是否恢复。
Doris UDF开发建议 不要执行大量数据的复制操作，防止堆栈内存溢出。 应避免使用大量字符串拼接操作，否则会导致内存占用过高。 Java UDF应该使用有意义的名称，以便其他开发人员能够轻松理解其用途。建议使用驼峰式命名法，并以UDF结尾，例如：MyFunctionUDF。 Java
建表时整数类型的分区键不补前置0，例如'hour=01'等分区 整数类型分区使用补齐前缀0的方式，会导致Impala解析分区不准确，影响元数据刷新。 列名、别名无特殊情况使用英文，不使用中文 除注释外，由于中文编码存在特殊字符，使用中文会导致impala解析时遇到不能识别的符号，从而出现解析失败或进入死循环。
able 参数 参数 描述 :db 数据库名 :table 新建表名 group 创建表时使用的用户组 permissions 创建表时使用的权限 external 指定位置，hive不使用表的默认位置。 ifNotExists 设置为true，当表存在时不会报错。 comment
导入并配置Kafka样例工程 操作步骤 参考获取MRS应用开发样例工程，下载样例工程到本地。 解压样例工程并找到kafka-examples目录。 导入样例工程到Eclipse开发环境。 打开Eclipse，选择“File > Import”。显示“Import”窗口，选择Existing
为了提高通信速率，希望不同主机之间的通信能够尽量发生在同一个机架之内，而不是跨机架。 为了提高容错能力，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。 由于HDFS不能自动判断集群中各个DataNode的网络拓扑情况，管理员需设置机架名称来确定主机
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
