检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dis_tab(col int); --插入数据 insert into dis_tab values (2),(3),(5),(null); --查询 select col from dis_tab where col is distinct from null; col ---- 2
forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无
操作Ldap最大时延(毫秒) 3000 Kerberos连接LDAP的超时时间,单位为毫秒。 搜索Ldap最大时延(毫秒) 3000 Kerberos在LDAP查询用户信息的超时时间,单位为毫秒。 Kadmin监听端口 21700 kadmin服务的端口。 KDC监听端口 21701 kinit服务的端口。
准备Spark本地应用开发环境 Spark2x可以使用Java/Scala/Python语言进行应用开发,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。
以omm用户通过备管理节点IP登录备管理节点,重复5~6。 执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh,查看管理节点的“HAAllResOK”是否为“Normal”,并可以重新登录FusionInsight Manager表示操作成功。 更换HA证书(MRS
的访问热度下降以及时间的老化,这些数据应该被迁移到价格低廉的存储介质上。 以详单查询场景作为典型的用例场景,进行说明:当最新详单数据刚刚被导入HDFS上时,会被上层业务人员频繁查询,所以为了提高查询性能,可以将这些详单数据最先导入到SSD磁盘中;但是随着时间的迁移,这些数据逐渐被
准备Spark本地应用开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
phoenix.mapreduce.CsvBulkLoadTool -md '|^[' -t TEST -i /tmp/data.csv 执行以下命令,查看导入表TEST的数据: sqlline.py SELECT * FROM TEST LIMIT 10; 父主题: 增强HBase BulkLoad工具数据迁移能力
在Yarn原生页面显示ApplicationMaster启动两次均失败,任务退出,如图1信息: 图1 ApplicationMaster启动失败 查看ApplicationMaster日志看到如下异常信息: Exception in thread "main" java.lang.Exc
该选项的含义为告警检查阶段,“平滑次数”为连续检查多少次超过阈值,则发送告警。 单击规则“操作”列的“修改”,根据实际情况更改告警阈值。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查每个写操作平均所需时间是否达到上限。 在FusionInsight Manager页面,选择“运维
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在Hudi中对表进行插入数据操作,查看DWS导入的文件内容。 父主题: 创建CDL作业
Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“编辑”。 设置Loader作业的执行权限 (包括作业的启动、停止和查看历史记录权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“执行”。
fault_cluster, system.replication_queue) group by node,type; 如果存在积压,请查看副本队列中的任务是否报错,并根据报错信息处理。 执行如下SQL排查是否存在节点间表结构不一致。 select FQDN(), create_table_query
写入文件的副本数大于DataNode的节点数。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”查看是否存在告警“ALM-14003 丢失的HDFS块数量超过阈值”。 是,执行2。 否,执行3。 按照ALM-14003 丢失的HDFS块数
Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“编辑”。 设置Loader作业的执行权限 (包括作业的启动、停止和查看历史记录权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“执行”。
flag; } 避免对同一张表同时进行读写操作 目前的版本中,Hive不支持并发操作,需要避免对同一张表同时进行读写操作,否则会出现查询结果不准确,甚至任务失败的情况。 父主题: Impala开发规范
forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper
补丁基本信息 补丁号 MRS 1.5.1.4 发布时间 2018-08-23 解决的问题 Spark组件问题: 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下,对数据进行压缩时,出现转换为SHORT_INT失败的问题。 spark解析zlib时出错,出现java
CHILD”。 在程序运行时添加运行参数,分别为hive-site.xml与spark-defaults.conf文件的路径。 运行程序。 查看调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found
复,若是误删了默认Policy,可先手动删除Service,再重启组件服务。 单击“Access Manager > Reports”,可查看各组件所有的安全访问策略。 系统策略较多时,可通过策略名称、类型、组件、资源对象、策略标签、安全区域、用户或用户组等信息进行过滤搜索,也可