检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Function Plugin的具体步骤。 MRS 3.2.1及以后版本,需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3.0版本为例。 开发Function Plugin项目 本样例实现两个Function Plugin,说明见下表。 表1 HetuEngine Function
id = b.id) WHERE usd_flag='D'; -- 查询入职时间为2014年的雇员编号、姓名等字段,并将查询结果加载进表employees_info_extended中的入职时间为2014的分区中. INSERT OVERWRITE TABLE employees_info_extended
dryRun => [dryRun]) dryRun为true时会打印出每个分区的最后修改时间,但不会把每个分区的最后修改时间写入每个分区下的“.hoodie_partition_metadata”文件中。 dryRun为false时不仅会打印出每个分区的最后修改时间,而且会把
/nn/hdfs-az-state.log”。 Yarn的日志文件存储路径为“/var/log/Bigdata/yarn/rm/yarn-az-state.log”。 其余服务请查看对应服务日志目录下的服务健康检查日志。 请联系运维人员,并提供日志文件详细信息。 告警清除 此告警
conf文件格式不一样。 在使用IBM JDK时,建议使用如下jaas.conf文件模板,其中“useKeytab”中的文件路径必须以“file://”开头,后面为绝对路径。 Client { com.ibm.security.auth.module.Krb5LoginModule required u
登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面,在右上角选择“更多 > 下载客户端”,选择“选择客户端类型”为“完整客户端”,下载Flume服务客户端文件。 客户端文件名称为“FusionInsight_Clust
Yarn队列中资源不足,导致创建taskmanager启动不成功。 用户的jar包与环境中的jar包冲突导致,可以通过执行wordcount程序是否成功来判断。 如果集群为安全集群,可能是Flink的SSL证书配置错误,或者证书过期。 解决方法 增加队列的资源。 排除用户jar包中的Flink和Hadoop依赖,依赖环境中的jar包。
指导运维工程师停止、启动Flume客户端,以及在不需要Flume数据采集通道时,卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”,执行以下命令,停止Flume客户端: cd /opt/FlumeClient/fusioninsigh
hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了列出表的现有索引的方法。 HIndexAdmin为给定表格列出索引提供以下API: listIndices(): 该API可用于列出给定表的所有索引。 代码样例 以下代码片段在com.huawei
Flink对接Elasticsearch作业运行一段时间后Checkpoint失败 问题现象 Flink对接Elasticsearch作业,运行一段时间(TGT的有效期一般为24小时)后,写Elasticsearch失败,Checkpoint超时报错。 TGT(Ticket Granting ticket):票据授权票据。
购买MRS集群提交订单时报无效认证如何处理? 问: 购买MRS集群,提交订单时,报无效认证,怎么办? 答: 通过管理人员检查API请求日志发现告警信息为细粒度策略中未赋予IAM用户“mrs:cluster:create”的权限导致。 分析原因为当前IAM用户归属在多个用户组内,多个用户组分别
ClickHouse中最强大的表引擎当属MergeTree(合并树)引擎及该系列其他引擎,根据业务场景选择合适的引擎。 表引擎选择建议 自助报表分析、行为数据分析,在不涉及重复数据聚合的情况下,建议使用ReplicatedMergeTree表引擎。 涉及到物化视图等聚合函数的场景,建议使用Re
通过hbase shell命令查询服务端时,RPC请求响应时长超过阈值(即HBase服务端配置参数“hbase.ipc.warn.response.time”,默认值为“3000”ms)的请求;超大请求是指通过hbase shell命令查询服务端时,RPC请求一次返回数据量大小超
修改FlinkServer节点上面配置文件目录及其上层目录属主为omm。 chown omm: /tmp/client/HBase/ -R FlinkServer节点: 登录Manager,选择“集群 > 服务 > Flink > 实例”,查看FlinkServer所在的“业务IP”。
登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面,在右上角选择“更多 > 下载客户端”,选择“选择客户端类型”为“完整客户端”,下载Flume服务客户端文件。 客户端文件名称为“FusionInsight_Clust
Spark Streaming任务一直阻塞 问题 运行一个Spark Streaming任务,确认有数据输入后,发现没有任何处理的结果。打开Web界面查看Spark Job执行情况,发现如下图所示:有两个Job一直在等待运行,但一直无法成功运行。 图1 Active Jobs 继
语句,执行3。 使用spark-beeline运行SQL语句,执行4。 执行SQL语句时,需要添加参数“--driver-memory”,设置内存大小,例如: /spark-sql --master=local[4] --driver-memory=512M -f /tpch.sql
Kerberos在LDAP查询用户信息的超时时间,单位为毫秒。 Kadmin监听端口 21700 kadmin服务的端口。 KDC监听端口 21701 kinit服务的端口。 Kpasswd监听端口 21702 kpasswd服务的端口。 重置LDAP账户密码 - Kerberos
bulkload功能提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 例如: 新建用户user并绑定租户同名的角色。 用户user需要使用bulkload功能还需要额外权限。 以下以用户user为例: 参见“批量导入数据”章节举例,以下是一些差异点。 将数据文件
配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时,替换成指定的值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“空值转换”算子,如下图: 转换后,将A和B的值输出后的结果如下: