检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否,执行5。 检查Oozie与ZooKeeper连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][ZooKeeper]”,在日志中查看具
是,处理完毕。 否,执行5。 检查Oozie与HDFS连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][HDFS]”,在日志中查看具体告警原因
delta_commits 选填 MOR表Compaction计划触发条件。 200 compaction.async.enabled 必填 是否开启在线压缩。将compaction操作转移到sparksql运行,提升写性能。 FALSE hive_sync.enable 选填 是否向Hive同步表信息。
确认“HostName”节点的“PartitionName”对应的磁盘是否在对应服务器的插槽上。 是,执行5。 否,执行6。 联系硬件工程师将故障磁盘在线拔出。 使用PuTTY工具登录发生告警的“HostName”节点,检查“/etc/fstab”文件中是否包含“DirName”的行。 是,执行7。
是,处理完毕。 否,执行5。 检查Oozie与Yarn连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][YARN]”,在日志中查看具体告警原因
urce Hudi的component_env。 使用spark-shell --master yarn-client,引入Hudi包生成测试数据: 引入需要的包 import org.apache.hudi.QuickstartUtils._ import scala.collection
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“hdfs-connector”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表1 输入设置参数 参数名
否,执行5。 检查Oozie与DBService连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][DB Service]”,在日志中查看
JDK,请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于用户应用程序开发、运行、调测。 弹性云服务器
每个磁盘分区的使用情况。 实例列表区 实例列表区显示了该主机所有安装的角色实例,并显示每个角色实例的状态,单击角色实例名称后的日志文件,可在线查看该实例对应日志文件内容。 告警和事件的历史记录 告警和事件的历史记录区显示了当前主机上报的关键告警与事件记录,系统最多可显示20条历史记录。
安全模式驱动设置 连接设置。 安全模式(开启Kerberos认证的集群): 在创建新连接页面的“常规”页签,输入2中创建的用户名和密码,单击“测试链接”,连接成功后,单击“确定”,再单击“完成”。可单击“连接详情(名称、类型...)”修改连接名称。 图3 安全模式“常规”参数设置 普
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“hdfs-connector”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表1 输入设置参数 参数名
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“hdfs-connector”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表1 输入设置参数 参数名
在“连接”区域,单击“添加”新建一个的连接,在“连接器”中选择“hdfs-connector”,输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表1 输入设置参数 参数名
[编号]”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Guardian日志列表 日志类型 日志文件名 描述 是否支持Manager在线检索 运行日志 token-server.log Guardian服务运行时的日志。 是 startDetail.log Guardian服务预启动日志。
单击“创建数据连接”,在弹出的页面中选择数据连接类型,参考表1填写信息,单击“确定”,完成数据连接创建。创建完成后,可在对应数据连接的“操作”列对数据连接进行编辑、测试、删除等操作。 表1 创建数据连接信息 参数名称 参数描述 示例 数据连接类型 选择数据连接的类型,包含HDFS、Kafka、Redis。
ar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ,在本地执行应用程序,一般用来测试 * 命令行方式和远程方式安全和普通模式都支持 * 本地提交仅支持普通模式
在以上场景中,为使HMaster更早完成恢复任务,建议增加以下配置参数,否则Master将退出导致整个恢复进程被更大程度地延迟。 增加namespace表在线等待超时周期,保证Master有足够的时间协调RegionServer workers split任务,避免一次次重复相同的任务。 “hbase
单击“创建数据连接”,在弹出的页面中选择数据连接类型,参考表1填写信息,单击“确定”,完成数据连接创建。创建完成后,可在对应数据连接的“操作”列对数据连接进行编辑、测试、删除等操作。 表1 创建数据连接信息 参数名称 参数描述 示例 数据连接类型 选择数据连接的类型,包含HDFS、Kafka、Redis。
file> <pricipal name> 进行认证。 执行hdfs dfs -put ./startDetail.log /tmp命令,测试HDFS写文件失败。 19/05/12 10:07:32 WARN hdfs.DataStreamer: DataStreamer Exception