检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
件。 单击“导出全部”可导出全部事件详情。 单击手动刷新当前页面，也可在修改事件表格显示的列。 支持通过指定对象或集群来筛选指定的事件。 单击“高级搜索”显示事件搜索区域，搜索条件包括事件ID、事件名称、事件级别、开始时间和结束时间。 单击指定事件名称左侧的，展开完整信息参数，各项说明如表1所示。
<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Broker日志列表 日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。
remote-app-log-dir-suffix”参数还需要在Yarn的客户端进行配置，且在ResourceManager、NodeManager和JobHistory节点的配置与在Yarn的客户端的配置必须一致。 周期性收集日志功能目前仅支持MapReduce应用，且MapReduce
选择“作业管理”的“表/文件迁移”页签，单击“新建作业”。 进入作业参数配置界面，配置作业名称，并分别为源连接和目的连接选择步骤 5中创建的对应数据连接并选择要迁移的数据库和表名，单击“下一步”。 图3 Hive作业配置 配置源字段和目的字段的映射关系， 并单击“下一步”。 进入任务配置页面，不做修改，直接单击“保存”。
X，请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 CDM服务迁移Hadoop数据至MRS集群方案如图1所示。 图1 Hadoop数据迁移示意
主机所处的机架，NameNode才能绘出DataNode的网络拓扑图，并尽可能将DataNode的数据备份在不同机架中。同理，YARN需要获取机架信息，在可允许的范围内将任务分配给不同的NodeManager执行。 当集群网络拓扑发生变化时，需要使用FusionInsight M
GC回收慢导致长时间运行的任务场景下频繁出现实例GC告警。 Spark作业Driver经常Full GC报OOM异常。 Spark Jar读取Parquet和MySQL数据后进行Join和Filter操作后，必现栈溢出。 influxdb生成的parquet文件timestamp类型为纳秒，故导致数据读取报错。
r。通过运行这个程序，可以使得HDFS集群达到一个平衡的状态，使各DataNode磁盘使用率与HDFS集群磁盘使用率的偏差不超过阈值。图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1 执行均衡操作前DataNode的磁盘使用率 图2 执行均衡操作后DataNode的磁盘使用率
r。通过运行这个程序，可以使得HDFS集群达到一个平衡的状态，使各DataNode磁盘使用率与HDFS集群磁盘使用率的偏差不超过阈值。图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1 执行均衡操作前DataNode的磁盘使用率 图2 执行均衡操作后DataNode的磁盘使用率
eventLog.compression.codec 用于压缩事件日志的编码解码器。默认情况下，spark提供四种编码解码器：lz4、lzf、snappy和zstd。如果没有给出，将使用spark.io.compression.codec。 无 spark.eventLog.logStageExecutorMetrics
eventLog.compression.codec 用于压缩事件日志的编码解码器。默认情况下，spark提供四种编码解码器：lz4、lzf、snappy和zstd。如果没有给出，将使用spark.io.compression.codec。 无 spark.eventLog.logStageExecutorMetrics
脚本运行过程中会重启controller服务，同步Yarn的配置，并重启主备ResourceManager实例。 重启controller服务时，无法登录和操作FusionInsight Manager。 重启主备ResourceManager实例后，Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。
DBC Server等部分。Streaming应用会多一个Streaming标签页。 History Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。 Spark UI 进入组件管理页面：
“HBase_HEAPSIZE” 说明： 该配置与“hfile.block.cache.size”的和不能超过0.8，也就是写和读操作的内存不能超过HeapSize的80%，这样可以保证除读和写外其他操作的正常运行。 0.4 hbase.hstore.blockingStoreFiles
“HBase_HEAPSIZE” 说明： 该配置与“hfile.block.cache.size”的和不能超过0.8，也就是写和读操作的内存不能超过HeapSize的80%，这样可以保证除读和写外其它操作的正常运行。 0.4 hbase.hstore.blockingStoreFiles
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
