检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
超过该值的待导入文件需要通过调整Broker Load的导入参数来实现大文件的导入。 处理步骤 根据当前BE实例的个数和待导入文件的大小修改单个BE的任务的最大扫描量和最大并发数。操作如下: 登录FusionInsight Manager,选择“集群 > 服务 > Doris”
参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当ClickHouse写入分布式表节点发送数据文件到远端分片节点失败时,会导致执行分布式表查询等操作结果异常。 可能原因
Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时,如果数据量达到合并的最大内存时,Hudi将溢出部分输入数据到磁盘。 如果有足够的内存,请增加spark executor的内存和添加“hoodie
本样例介绍通过Flink API作业读写HBase数据。 数据规划 准备HBase配置文件,通过Manager下载集群配置,获取“hbase-site.xml”文件。 开发思路 写HBase: 通过参数指定“hbase-site.xml”文件的父目录,Flink Sink可以获取到HBase的Connection。
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。
e-1.12/。 Flink结构 Flink服务包含了两个重要的角色:FlinkResource和FlinkServer。 FlinkResource:提供客户端配置管理,是必须安装的角色。包括供客户端下载使用的原始lib包和配置文件,以及FlinkServer提交作业所依赖的原
组成。 角色 角色是服务的组成要素,每个服务由一个或多个角色组成。服务通过角色安装到主机(即服务器)上,保证服务正常运行。 集群 将多个服务器集中起来使它们能够像一台服务器一样提供服务的计算机技术。采用集群通常是为了提高系统的稳定性、可靠性、数据处理能力或服务能力。例如,可以减少
Keeper失败。 回答 可能原因为IBM的JDK和普通JDK的jaas.conf文件格式不一样。 在使用IBM JDK时,建议使用如下jaas.conf文件模板,其中“useKeytab”中的文件路径必须以“file://”开头,后面为绝对路径。 Client { com.ibm
端。 请参见配置HDFS源端参数配置源端连接的作业参数,需要迁移的文件夹可通过“目录过滤器”和“文件过滤器”参数设置符合规则的目录和文件进行迁移。 例如迁移匹配“/user/test*”文件夹下文件,该场景下“文件格式”固定为“二进制格式”。 图3 配置作业参数 请参见配置HDFS目的端参数配置目的端连接的作业参数。
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。
创建表、读取表、往表中插入数据等操作。 数据规划 首先需要把数据文件放置在HDFS系统里。 本地新建文本文件,将以下内容复制保存到input_data1.txt。 20,30,40,xxx 在HDFS上建立一个文件夹,“/tmp/input”,并上传input_data1.txt到此目录,命令如下。
0版本集群,当用户名超过20位时(添加用户时最长限制为32位),下载Keytab文件会下载失败,状态代码:400 Bad Request。 问题现象 MRS 3.0.2~MRS 3.1.0版本集群,当用户名超过20位时(添加用户时最长限制为32位),下载Keytab文件会下载失败,状态代码:400 Bad Request。
elete状态;segment合并后,旧的segments状态会变为compacted。这些segments的数据文件不会从物理上删除。如果用户希望强制删除这些文件,可以使用CLEAN FILES命令。 但是,使用该命令可能会导致查询命令执行失败。 命令格式 CLEAN FILES
令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
如下通过一个MapReduce工作流的示例演示如何配置文件,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
OpenTSDB由时间序列守护进程(TSD)和一组命令行实用程序组成。与OpenTSDB的交互主要通过运行一个或多个TSD来实现。每个TSD都是独立的。没有主服务器,没有共享状态,因此您可以根据需要运行任意数量的TSD来处理您向其投入的任何负载。每个TSD使用CloudTable集群中的HBase来存储和
由于Hive使用Tez引擎在执行union语句时,生成的输出文件会保存在HIVE_UNION_SUBDIR目录中,而Presto默认不读取子目录下的文件,所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 处理步骤 在集群详情页面选择“组件管理 > Presto > 服务配置”。 切换“基础配置”为全部配置“。
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询SQL结果成功 400 查询SQL结果失败 错误码 请参见错误码。 父主题: SQL接口
YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题: YARN开发指南(安全模式)
换到omm用户下,在/home/omm目录下创建fair-scheduler.xml、llama-site.xml文件。 打开fair-scheduler.xml文件,添加如下配置。 <allocations> <queue name="root"> <aclSubmitApps>