检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志分类见下表: 表1 日志分类一览表 日志类型 日志描述 安装日志 安装日志记录了Manager、集群和服务安装的程序信息,可用于定位安装出错的问题。 运行日志 运行日志记录了集群各服务运行产生的信息及调试信息、状态变迁、未产生影响的潜在问题和直接的错误信息。
图4 wordcount作业 作业类型选择“MapReduce”。 作业名称为“mr_01”。 执行程序路径配置为OBS上存放程序的地址。例如:obs://wordcount01/program/hadoop-mapreduce-examples-x.x.x.jar。
登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl.mode.enable”并配置为“true”。 客户端配置。
使用方式如下: 在执行“DriverManager.getConnection”方法获取JDBC连接前,添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长,其中n表示等待服务返回的超时时长,单位为秒,类型为Int,默认为“0”(表示永不超时)
表1 需要配置生命周期策略的目录 集群版本 回收站目录类型 组件名称 回收站目录 创建回收站目录 MRS 3.3.0-LTS之前版本 MRS集群内各组件默认需至少配置的回收站目录 Hive user/omm/.Trash user/hive/.Trash 对应的“.Trash”文件夹若不存在需使用
方式二:使用“rng-tools”工具(伪随机数方式):请联系操作系统供应商安装并启动该工具,并根据操作系统类型进行配置。 等待第二天零点,系统下一次熵值检查,查看告警是否自动清除。 是,操作结束。 否,执行10。 收集故障信息。
如果都未过期,则请排查是否导入过其他类型证书,并重新导入证书文件。 检查系统中合法证书文件的有效期。 查看当前系统时间是否在CA证书的有效期内。
在TemporaryFileStream中完成CompressedWriteBuffer 解决ClickHouse修改没有类型的列时发生的错误问题 解决ClickHouse具有Nullable类型的类型化dictGet 解决ClickHouse使用Decimal参数修复avgWeighted
默认端口如下: 开源端口默认值为:6667 定制端口默认值为:22260 端口定制/开源区分:创建LTS版本类型集群时,可以选择“组件端口”为“开源”或是“定制”,选择“开源”使用开源端口,选择“定制”使用定制端口。 -f:用于指定想要导入的数据,可以指定文件或者文件夹。
当任务属于网络瓶颈类型时,压缩Map中间结果效果明显。针对bulkload调优,压缩中间结果后性能提升60%左右。
图4 wordcount作业 作业类型选择“MapReduce”。 作业名称为“mr_01”。 执行程序路径配置为OBS上存放程序的地址。例如:obs://wordcount01/program/hadoop-mapreduce-examples-x.x.x.jar。
当任务属于网络瓶颈类型时,压缩Map中间结果效果明显。针对bulkload调优,压缩中间结果后性能提升60%左右。
选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
表3 carbon.properties中的其它配置 参数 默认值 描述 数据加载配置 carbon.lock.type HDFSLOCK 该配置指定了表上并发操作过程中所要求的锁的类型。 有以下几种类型锁实现方式: LOCALLOCK:基于本地文件系统的文件来创建的锁。
取值范围: 不涉及 默认取值: 不涉及 表10 ResourcesPlan 参数 是否必选 参数类型 描述 period_type 是 String 参数解释: 资源计划的周期类型,当前只允许以下类型:daily。
注意:查询的字段中不能有数据类型为字符串的字段,否则会报错:java.sql.SQLException: Invalid value for getLong()。
图1 添加Artifacts 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 图2 设置基本信息 选中“'FlinkStreamJavaExample' compile output”,右键选择“Put into Output Root”。然后单击“Apply”。
表3 carbon.properties中的其他配置 参数 默认值 描述 数据加载配置 carbon.lock.type HDFSLOCK 该配置指定了表上并发操作过程中所要求的锁的类型。 有以下几种类型锁实现方式: LOCALLOCK:基于本地文件系统的文件来创建的锁。
计费模式优化 不同类型的业务对资源使用周期有不同的要求,为每一类业务确定合适的计费模式,灵活组合以达到最优效果。 针对长期稳定的成熟业务,使用包年/包月计费模式。 针对不能中断的短期、突增或不可预测的业务,使用按需计费模式。
Kerberos+SSL模式配置 完成上文中Kerberos和SSL各自的服务端和客户端配置后,只需要修改运行参数中的端口号和协议类型即可启动Kerberos+SSL模式。