检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大小超过100MB的时,会自动压缩。 压缩后的日志文件名规则为:“<原有日志名>.[编号].gz”。 默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ClickHouse日志列表 日志类型 日志文件名 描述 ClickHouse相关日志
志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 Loader日志列表 日志类型 日志文件名 描述 运行日志 loader.log Loa
ricPrint)中参数“rocksdb.mem-table-flush-pending”的值(单位:个)和“rocksdb.compaction-pending”的值(单位:个)的和是否大于RocksDB线程数的n倍(metrics.reporter.alarm.job.alarm
WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行5。 否,执行6。 单击失败作业application
段类型,转换出来的隐式分区显示default的问题 解决Hudi的truncate(col, W)函数,W在建表时可以为负数的问题 解决Hudi分区规则属性包含5个以上的规则应建表失败的问题 父主题: MRS 3.3.1-LTS.1.2补丁说明
压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置 表1 JobGateway日志列表 日志类型 日志文件名 描述 jobserver运行日志 job-gateway
钮,根据算子的参数格式要求填写相应字段信息。 单击每行字段后的按钮可对字段进行上移、下移、下面插入一行以及删除等操作。 单击“文本编辑”,可以直接以文本形式对字段列表进行编辑,不同字段属性直接使用英文逗号“,”进行分隔。 单击“确定”,保存字段信息。 导入操作 登录“Loader
不允许多个线程在同一时间共用同一个Table实例 Table是一个非线程安全类,因此,同一个Table实例,不应该被多个线程同时使用,否则可能会出现并发问题。 Table实例缓存 如果一个Table实例可能长时间会被同一个线程固定且频繁地用到,例如,通过一个线程不断地往一个表内写入数据,那么这
”,单击“确定”保存。 选择“系统设置 > 用户组管理 > 添加用户组”,为样例工程创建一个用户组,例如flinkgroup。选择“系统设置 > 用户管理 > 添加用户”,为样例工程创建一个用户。填写用户名例如flinkuser,用户类型为“人机”用户,加入用户组flinkgro
该值应小于maxFileSize,如果将其设置为0,会关闭此功能。由于批处理中分区中插入记录的数量众多,总会出现小文件。Hudi提供了一个选项,可以通过将对该分区中的插入作为对现有小文件的更新来解决小文件的问题。此处的大小是被视为“小文件大小”的最小文件大小。 104857600 byte
ZkClient.java:985) 可能原因 用户不属于kafkaadmin组,Kafka提供安全访问接口,kafkaamdin组用户才可以进行设置操作。 原因分析 使用客户端命令,打印NoAuthException异常。 通过客户端命令klist查询当前认证用户: [root@10-10-144-2
sed "s/'//g" 获取到目标的UUID cd /srv/BigData/data1/clickhouse/store/{UUID前3个字符} mkdir -p 备份目录/data1 mv {UUID} 备份目录/data1/ 如果存在多磁盘的场景,需要对data1到dataN的磁盘数据都执行相同的备份操作。
单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 “角色名称”为必选参数,字符长度为3到30,可以包含数字、字母和下划线。“描述”为可选参数。 设置角色“权限”。 单击“服务名称”,并选择一个“视图名称”。 勾选一个或多个权限。 “权限”为可选参数。 在选择“视图”设置组件的权限时,可通过右上角
/data2”,则执行以下命令: mount /dev/vdb2 /srv/BigData/data2 弹性云服务器重启后,挂载会失效。您可以修改“/etc/fstab”文件,将新建磁盘分区设置为开机自动挂载,具体请参见设置开机自动挂载磁盘分区。 参见访问集群Manager,登录FusionInsight
MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常 问题 HBase bulkload任务有210000个map和10000个reduce,MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常。 For more detailed
-m --secure --query="INSERT INTO orc_tab001 FORMAT ORC" #orc格式文件格式文件数据可以从HDFS中导出,例如: hdfs dfs -cat /user/hive/warehouse/hivedb.db/emp_orc/000000_0_copy_1
java”文件中修改“TOPIC”变量,例如:public final static String TOPIC = "kafka-topic"。 可以通过修改“KafkaConsumerMultThread.java”文件中的“CONCURRENCY_THREAD_NUM”参数值调整消费者线程数量。
若提示setuptools的47.3.1版本安装不成功,则需要检查环境是否有问题或是Python自身原因导致的。 客户端机器必须安装有jaydebeapi,可以通过该模块使用java的JDBC来连接数据库。 可通过如下两种方式安装: pip安装: 在客户端节点执行pip install JayDeBeApi。
read_only; 其中password为DBService数据库的omm用户密码(omm用户初始密码可在用户账号一览表章节查看),用户可以执行\q退出数据库界面。 结果如下所示,查看“default_transaction_read_only”的值是否为“on”。 POSTGRES=#
实例”查看FlinkServer两个实例的业务IP。 以root用户登录异常FlinkServer实例所在的服务器,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令检查另一个FlinkServer实例的服务器是否可达。 ping 另一个FlinkServer实例IP 是,执行8。