检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义”,增加自定义参数 --fe_service_threads,该参数默认值64,请按照需要修改该值,单击“保存”按钮保存配置。 在所有客户端的查询任务都执行完成后,选择“实例”页签,勾选所有“Impalad”实例并重启。 重启全部实例,服务不可用。重启单个实例,会导致当前实例节点正在执行的任务失败,服务可用。
security.authentication”为“kerberos”。 解决办法 属于用户使用不当。对于本业务应用来说,若要解决此问题,可以参考如下几种办法: 方法1: 直接参考Hive组件的“jdbc-examples”样例工程,将core-site.xml配置文件放在classpath路径下。
或者Task节点最多支持添加10块磁盘,有如下应用场景: 数据存储和计算分离,数据存储在OBS中,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用。 数据存储和计算不分离,数据存储在HDFS
format.default data file format 该参数的默认值和“write.format.default”参数值保持一致,可以修改为parquet、avro或orc。 write.parquet.row-group-size-bytes 134217728(128MB)
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问集群Kafka。 Windows本地hosts文件存放路
0.8*“yarn.app.mapreduce.am.resource.mb” 参考规格: ApplicationMaster配置如下时,可以同时支持并发Container数为2.4万个。 “yarn.app.mapreduce.am.resource.mb”=2048 “yarn
-m --secure --query="INSERT INTO orc_tab001 FORMAT ORC" #orc格式文件格式文件数据可以从HDFS中导出,例如: hdfs dfs -cat /user/hive/warehouse/hivedb.db/emp_orc/000000_0_copy_1
where id = 4; 执行以下命令删除数据: DELETE FROM sample_table where id = 5; 执行以下命令查询Iceberg表数据: select * from sample_table; 父主题: 使用Iceberg
s,那么close函数最多需要25.2秒才能返回。 解决办法 可以通过调整客户端参数dfs.client.block.write.locateFollowingBlock.retries的值来增加retry的次数,可以将值设置为6,那么中间睡眠等待的时间为400ms、800ms、
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问普通模式集群Hive。 Windows本地hosts文件
启用Backoff配置参数。当前,如果应用程序中包含较多的用户调用,假设没有达到操作系统的连接限制,则RPC请求将处于阻塞状态。或者,当RPC或NameNode在重负载时,可以基于某些策略将一些明确定义的异常抛回给客户端,客户端将理解这种异常并进行指数回退,以此作为类RetryInvocationHandler的另一个实现。
beeline set hivevar:batchid=xxx 其中“xxxx”表示每一次通过beeline提交任务的批次号,通过该批次号,可以识别出先提交的任务。如果提交任务时不带批次号,该特性功能不会启用。“xxxx”的值是执行任务时指定的,如下所示,“xxxx”值为“012345678901”:
log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候,会自动压缩。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名 描述 运行日志 access.log 访问日志。 error.log 错误日志。 gsdb_check
-m --secure --query="INSERT INTO orc_tab001 FORMAT ORC" #orc格式文件格式文件数据可以从HDFS中导出,例如: hdfs dfs -cat /user/hive/warehouse/hivedb.db/emp_orc/000000_0_copy_1
0.8*“yarn.app.mapreduce.am.resource.mb” 参考规格: ApplicationMaster配置如下时,可以同时支持并发Container数为2.4万个。 “yarn.app.mapreduce.am.resource.mb”=2048 “yarn
如果集群采用安全版本,要进行安全认证。 执行kinit hdfs命令,按提示输入密码(向MRS集群管理员获取密码)。 执行如下命令,检查发出告警的目录下的文件或目录是否是可以删除的无用文件。 hdfs dfs -ls 产生告警的目录路径 是,执行3。 否,执行5。 执行如下命令。删除无用的文件。 hdfs dfs
则为:“<原有日志名>-<yyyy-mm-dd>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置 表1 JobGateway日志列表 日志类型 日志文件名 描述 jobserver运行日志 job-gateway.log 服务运行时的日志
是B中的所需字段没有更新,在该关联中仅用到了B表的B1和B2字段,对于B表,每个记录更新只更新B3字段,B1和B2不更新,因此当B表更新,可以忽略更新后的数据。 select A.A1,B.B1,B.B2 from A join B on A.P1=B.P1 为解决如上问题可通
钮,根据算子的参数格式要求填写相应字段信息。 单击每行字段后的按钮可对字段进行上移、下移、下面插入一行以及删除等操作。 单击“文本编辑”,可以直接以文本形式对字段列表进行编辑,不同字段属性直接使用英文逗号“,”进行分隔。 单击“确定”,保存字段信息。 导入操作 登录“Loader
启用Backoff配置参数。当前,如果应用程序中包含较多的用户调用,假设没有达到操作系统的连接限制,则RPC请求将处于阻塞状态。或者,当RPC或NameNode在重负载时,可以基于某些策略将一些明确定义的异常抛回给客户端,客户端将理解这种异常并进行指数回退,以此作为类RetryInvocationHandler的另一个实现。