检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
case CMD: { cmdSubmit(builder, null); break; } case REMOTE:
Presto应用开发常见问题 Presto接口介绍 在集群外节点运行PrestoJDBCExample缺少证书 在集群外节点连接开启Kerberos认证的集群,HTTP在Kerberos数据库中无法找到相应的记录 父主题: Presto开发指南
Oozie客户端配置说明 操作场景 该任务指导用户在运维场景或业务场景中使用Oozie客户端。Oozie支持提交多种类型任务,例如Hive、Spark2x、Loader、Mapreduce、Java、DistCp、Shell、HDFS、SSH、SubWorkflow、Streaming、定时任务等。
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致? 回答 Hive不支持对同一张表或同一个分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数据移走,导致任务数据异常。 解决方法是修
Hive常用配置参数 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。 本章节主要介绍Hive常用参数。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > Hive
Storm-Kafka开发指引 Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 使用旧插件storm-kafka时如何正确设置offset IntelliJ IDEA中远程提交拓扑执行Main时报错:Command
创建Doris权限角色 Doris权限管理系统实现了行级别细粒度的权限控制,和基于角色的权限访问控制。 仅MRS 3.3.0及之后版本开启Kerberos认证的集群支持通过FusionInsight Manager创建角色进行赋权,如果集群为MRS 3.3.0之前的版本,无论是否
访问MRS集群Manager 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问FusionInsight
华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBas
配置Container日志聚合功能 配置场景 YARN提供了Container日志聚合功能,可以将各节点Container产生的日志收集到HDFS,释放本地磁盘空间。日志收集的方式有两种: 应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。
Hive中增加自研的接口 解决map.xml无法读取的问题 Hive har特性优化 解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级 解决Yarn的ResourceManager内存泄漏问题 增加对调用ECS getSecuritykey接口异常的监控 优化刷新临时AK/Sk流程
CREATE TABLE test1_s3 ('name' String, 'age' int) ENGINE = S3(path, [ak, sk,] format, [compression]) 执行以下命令查询表。 select * from test1_s3; 修改Manager配置
当更新字段为字符串类型时,更新操作不能为“-”。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“更新域”算子,当发现值为test时,更新值,在test后面加上good。 转换后,输出A和B,结果如下: 父主题: 转换算子
ytab文件在应用程序中进行认证。 安全认证代码 目前是统一调用LoginUtil类进行安全认证。 在MapReduce样例工程代码中,test@HADOOP.COM、user.keytab和krb5.conf为示例,实际操作时请联系管理员获取相应账号对应权限的keytab文件和krb5
当更新字段为字符串类型时,更新操作不能为“-”。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“更新域”算子,当发现值为test时,更新值,在test后面加上good。 转换后,输出A和B,结果如下: 父主题: Loader转换类算子
文会导致impala解析时遇到不能识别的符号,从而出现解析失败或进入死循环。 包含case when子句的view视图或子查询,不应嵌套超过3层,避免出现嵌套过深导致Impala内存溢出 case when子句包含多个判断分支,在多层view视图或子查询嵌套场景下,复杂度呈指数增
KerberosTest test = new KerberosTest(); test.initConf(); test.login(); test.initFileSystem(); test.doSth();
kafka-topics.sh --create --replication-factor 1 --partitions 2 --topic test --zookeeper 192.168.234.231:2181 提示错误NoNodeException: KeeperErrorCode
KerberosTest test = new KerberosTest(); test.initConf(); test.login(); test.initFileSystem(); test.doSth();
city7,35,0,2017-10-03 10:20:22,11,6,6 通过Stream Load方式将“test.csv”中的数据导入到5创建的表中。 cd test.csv所在目录 curl -k --location-trusted -u doris用户名:用户密码 -H