检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志归档规则:Kafka的日志启动了自动压缩归档功能,默认情况下,当日志大小超过30MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。
wrap(tableName.getBytes()); List<TResult> resultList = client.getMultiple(table, getList); for (TResult tResult : resultList) {
wrap(tableName.getBytes()); List<TResult> resultList = client.getMultiple(table, getList); for (TResult tResult : resultList) {
log”,可以看到NameNode在等待块上报,且总的Block个数过多,如下例中是3629万。 2017-01-22 14:52:32,641 | INFO | IPC Server handler 8 on 25000 | STATE* Safe mode ON. The reported blocks
o_orderkey = l1.l_orderkey and o_orderstatus = 'F' and l1.l_receiptdate > l1.l_commitdate and exists ( select
o_orderkey = l1.l_orderkey and o_orderstatus = 'F' and l1.l_receiptdate > l1.l_commitdate and exists ( select
Memory 最大堆内存大小 Processors 处理器个数 Uptime 运行时长 External Address 外部地址 Internal Address 内部地址 Process CPU Utilization 物理CPU使用率 System CPU Utilization 系统CPU使用率
handler.count”,查看其值。如果值小于或等于128,则设置为128;如果大于128但小于192,则设置为192。 搜索配置项“ipc.server.read.threadpool.size”,查看其值。如果值小于5,则设置为5。 单击“保存”,单击“确定”。 在HDF
Flink读写Kafka样例 23:07 Flink读写Kafka样例 MapReduce服务 MRS Flink实现pipeline样例 19:22 Flink实现pipeline样例 MapReduce服务 MRS Flink TableAPI使用样例 21:00 Flink TableAPI使用样例
内存配置无法满足业务需求。内存使用率达到上限。 处理步骤 对系统进行扩容。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机地址。 登录告警节点。 执行命令free -m | grep Mem\: | awk '{printf("%s,", ($3-$6-$7) *
selectExpr("b").writeStream,只有当sink支持“a”到“b”的schema转换时才不会出错。 状态操作的变更,在部分场景下会导致状态恢复失败: Streaming aggregation:如sdf.groupBy("a").agg(...)操作中,不允许分组键或聚合键的类型或者数量发生变化。
导入(导出)文件时,可以对文件进行过滤,过滤规则同时支持通配符和正则表达式 支持批量导入/导出ETL任务 支持ETL任务分页查询、关键字查询和分组管理 对外部组件提供浮动IP 父主题: Loader
bin/kafka-broker-info.sh --zookeeper 192.168.2.70:2181/kafka Broker_ID IP_Address -------------------------- 1 192.168.2.242 父主题: 使用Kafka
datasource.hive_sync.partition_extractor_class", "org.apache.hudi.hive.MultiPartKeysValueExtractor"). option("hoodie.datasource.hive_sync.table", "hudi_test")
日志归档规则:HBase的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。
如果Windows运行环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 运行统计样例程序 确保样例工程依赖的所有jar包已正常获取。 在IntelliJ IDEA开发环境中,打开样例工程中“LocalRunner
autoRefreshConfig.sh 按照提示输入FusionInsight Manager管理员用户名,密码以及FusionInsight Manager界面浮动IP。 输入需要更新配置的组件名,组件名之间使用“,”分隔。如需更新所有组件配置,可直接单击回车键。 界面显示以下信息表示配置刷新更新成功: Succeed
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问安全模式集群Hive。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\syst