检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Kafka日志列表 日志类型 日志文件名 描述 运行日志 server
history:查询历史集群列表,包括所有“已删除”、删除集群失败、集群删除虚拟机失败、删除集群更新数据库失败等状态的集群。 starting:查询启动中的集群列表。 running:查询运行中的集群列表。 terminated:查询已删除的集群列表。 failed:查询失败的集群列表。 abnormal:查询异常的集群列表。
Time>的方式来表示,tuple是元组,包含了数据结构和数据内容,Time就是该数据的逻辑时间。 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。 父主题: Storm应用开发概述
Yarn企业级能力增强 配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceM
运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理 Bulkload和Put应用场景有哪些 install构建HBase Jar包失败报错Could not transfer artifact如何处理 父主题: HBase开发指南(普通模式)
个不同的值,那么此维度的基数就是200。 根据官方建议和实践经验,在维度基数小于1万的时候,对维度字段做LowCardinality编码,导入性能会有略微下降,查询性能提升明显,数据存储空间下降明显。 在默认的情况下,声明了LowCardinality的字段会基于数据生成一个全局
kSession, "table_test","default", customSegments) 给定segment列表,返回合并后新的导入名称: /** * Returns the Merged Load Name for given list of segments *
单击一条已保存的语句,系统会自动将其填充至编辑区中。 修改在Hue使用编辑器的会话配置 在编辑器页面,单击 。 在“文件”的右侧单击 ,然后单击 选择文件。 可以单击“文件”后的 新增加一个文件资源。 在“功能” ,输入用户自定义的名称和函数的类名称。 可以单击“功能”后的 新增加一个自定义函数。
开发Hive用户自定义函数 当Hive的内置函数不能满足需要时,可以通过编写用户自定义函数UDF(User-Defined Functions)插入自己的处理代码并在查询中使用它们。 按实现方式,UDF分为有如下分类: 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。
可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题 MRS 2.1.0.3 修复问题列表: MRS Manager Manager executor高并发提交作业问题 MRS大数据组件 hive on tez插入数据失败问题 MRS 2.1.0.2 修复问题列表: MRS
生产环境中是不能关闭的。 日志归档调优 参数“spark.eventLog.group.size”用来设置一个应用的JobHistory日志按照指定job个数分组,每个分组会单独创建一个文件记录日志,从而避免应用长期运行时形成单个过大日志造成JobHistory无法读取的问题,设置为“0”时表示不分组。
在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m -Xmx768m"” 保存并退出文件。 在Master节点执行如下命令重启knox进程。
通过客户端hadoop jar命令提交任务后返回“GC overhead”报错 Yarn汇聚日志过大导致节点磁盘被占满 MapReduce任务异常,临时文件未删除 Yarn客户端的端口信息错误导致提交任务后报错connection refused 通过Yarn WebUI查看作业日志时提示“Could
在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。 父主题: 准备Kudu应用开发环境
删除“/sys/fs/cgroup/cpuset/hadoop-yarn/”路径下container文件夹(如果存在)。 删除“/sys/fs/cgroup/cpuset/hadoop-yarn/”路径下cpuset.cpus文件中设置的所有CPU。 操作步骤 登录Manager系统。选择“集群 > 待操作集群的名称
for Application default configuration. 回答 打开项目中“ .idea\workspace.xml”文件。 找到标签“<component name="PropertiesComponent"> ” ,在内容中添加“ <property name="dynamic
数据读写性能。 可能原因 HDFS DataNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 等待5分钟后,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS
数据读写性能。 可能原因 HDFS NameNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 等待5分钟后,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS
paraTool.get("hostName"); // 修改hosts文件,使用主机名 final String keytab = paraTool.get("keytab文件路径"); // user.keytab路径 final
kSession, "table_test","default", customSegments) 给定segment列表,返回合并后新的导入名称: /** * Returns the Merged Load Name for given list of segments *