检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka提供了如表4所示的日志级别。 运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表4 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
围,即如果需要扩容则扩容到计划节点数量范围的下限,如果需要缩容则缩容到计划节点数量范围的上限。 进入弹性伸缩配置界面后,配置弹性伸缩规则。 弹性伸缩规则可调控节点数量,也会对实际价格有影响,请谨慎操作。 节点数量范围的默认范围: 输入Task实例弹性伸缩的数量范围,此约束应用于所有扩容缩容规则。
如果同时存在读和写的操作,这两种操作的性能会互相影响。如果写入导致的flush和compaction操作频繁发生,会占用大量的磁盘IO操作,从而影响读取的性能。如果写入导致阻塞较多的compaction操作,就会出现Region中存在多个HFile的情况,从而影响读取的性能。所以如果
传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 字符截取的起点位置或终点位置,大于输入字段的长度时,当前行成为脏数据。 EL操作转换 传入数据为NULL值,不做转换处理。 输入一个或多个字段的值,输出计算结果。 输入类型和算子不兼容时,当前行为脏数据。
时访问两个集群的HDFS:的操作步骤配置且指定对端集群nameservice为LOCATION后才能访问表数据。 访问对端集群的HBase: 先将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。
信息”中的“主机名”信息可知发出该告警的NameNode节点主机名;从“定位信息”中的NameServiceName信息可知发出该告警的NameService名称。 查看是否阈值设置过低。 查看依赖于HDFS的业务的运行状态是否正常运行。查看是否存在运行慢、执行任务超时的情况。 是,执行8。
chema的变更。 可选参数,单击显示该参数。 none WhiteList 待抓取表的白名单。 配置需要抓取的表的名单列表,多个表可以用英文逗号分隔,支持通配符。 可选参数,单击显示该参数。 testtable BlackList 表的黑名单。 配置不需要抓取的表的名单列表,多个表可以用英文逗号分隔,支持通配符。
通过Manager查询Broker创建Topic相关配置。 经确认,对该Topic操作的应用没有停止。 解决方法参考4。 解决办法 ZooKeeper连接失败导致。 Kafka客户端连接ZooKeeper服务超时。检查客户端到ZooKeeper的网络连通性。 网络连接失败,通过Manager界面查看Zookeeper服务信息。
连接ClickHouse数据源的用户名。 根据连接数据源的用户名修改。 密码 连接ClickHouse数据源的用户密码。 根据连接数据源的用户密码修改。 Schema/Table大小写敏感 支持数据源的Schema/Table名称大小写格式敏感。 HetuEngine支持数据源的Schema/Table名称大小写格式敏感。
实例”,获取HSFabric或HSBroker所有实例的业务IP,可选择一个或多个正常状态的进行连接。 获取端口号,选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”: 搜索“gateway.port”,获取HSFabric的端口号,安全模式默认为29902,普通模式默认29903;
当前实例并发执行的任务 Active Workers 当前实例中的有效Worker数量 ROWS/SEC 当前实例每秒处理的数据行数 Queued Queries 当前实例中等待队列中等待执行的任务数 RUNNABLE DRIVERS 当前实例中正在RUNNING的DRIVERS数量
时访问两个集群的HDFS:的操作步骤配置且指定对端集群nameservice为LOCATION后才能访问表数据。 访问对端集群的HBase: 先将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。
与Apache Impala的紧密集成,使其成为将HDFS与Apache Parquet结合使用的更好选择。 提供强大而灵活的一致性模型,允许您根据每个请求选择一致性要求,包括用于严格可序列化的一致性的选项。 提供同时运行顺序读写和随机读写的良好性能。 易于管理。 高可用性。
完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装,用户可在创建自定义类型的MRS集群时,选择HBase组件并通过调整集群自定义拓扑,添加Thrift1Server实例,详情请参考购买自定义拓扑集群。
r/filecache/”下的log4j旧版本的包,需要重新提交相关的yarn作业,才会加载新的log4j的包。 MRS 3.1.2-LTS版本的补丁安装过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。 MRS 3
单击上传2获取的GBase驱动文件。 单击驱动文件所在行的“Permission”列的值,勾选“User”列的“Read”和“Write”,“Group”列的“Read”和“Other”列的“Read”,单击“Set”。 通过使用HDFS命令直接上传: 将获取的GBase驱动文
1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况,可能会长期积累导致磁盘空间告警,因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务,借助JDBCServer服务常驻进程的能力定期清理残留文件。 本特性需要同时配置修改Spark客户端参数、
在ClickHouse的使用过程中,由于使用不规范的方式访问和查询,导致业务失败的情况时有发生。此外,偶尔也会发生因为网络闪断等导致连接和查询失败的情况。 MRS提供了ClickHouse的样例代码工程,旨在提供连接重试机制和规范化用户连接和查询的方法,从而减少业务失败的风险,提升系统的稳定性和可靠性。
互信。 备集群上的时间必须与主集群一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 需确保主备集群中Doris和HDFS的“hadoop.rpc.protection”配置项的值保持一致。 根
“指定作业”:表示指定需要导出的作业。选择“指定作业”,在作业列表中勾选需要导出的作业。 “指定组别”:表示导出某个指定分组中的所有作业。选择“指定分组”,在分组列表中勾选需要导出的作业分组。 “是否导出密码”:导出时是否导出连接器密码,勾选时,导出加密后的密码串。 单击“确定”,开