检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
内存超限 Yarn-cluster模式下提交Spark任务报“Can't get the Kerberos realm”异常 JDK版本不匹配导致启动spark-sql和spark-shell失败 Yarn-client模式提交Spark任务时ApplicationMaster尝试启动两次失败
成功,否则删除失败。 原因:创建UDF后,Spark服务端的JDBCServer未重启或者spark-sql未重新启动的场景,Spark所在线程的FunctionRegistry对象未保存新创建的UDF,那么删除UDF时就会出现错误。 解决方法:重启Spark服务端的JDBCSe
成功,否则删除失败。 原因:创建UDF后,Spark服务端的JDBCServer未重启或者spark-sql未重新启动的场景,Spark所在线程的FunctionRegistry对象未保存新创建的UDF,那么删除UDF时就会出现错误。 解决方法:重启Spark服务端的JDBCSe
在生产数据时,配置了高可靠参数ack=-1之后,需要多个副本均写入成功之后才认为是写入成功。这样会导致单条消息时延增加,客户端处理能力下降。具体性能以现场实际测试数据为准。 可用性降低: 不允许不在ISR中的副本被选举为Leader。如果Leader下线时,其他副本均不在ISR列表中,那么该分区将保
置虚拟机的登录方式(密码或者密钥对),所创建的MRS集群资源完全归客户所用。同时MRS支持在两节点4U8G的ECS上部署大数据集群,为客户测试开发提供更多的灵活选择。 MRS集群类型包括分析集群、流式集群和混合集群。 分析集群:用来做离线数据分析,提供Hadoop体系的组件。 流
在生产数据时,配置了高可靠参数ack=-1之后,需要多个副本均写入成功之后才认为是写入成功。这样会导致单条消息时延增加,客户端处理能力下降。具体性能以现场实际测试数据为准。 可用性降低: 不允许不在ISR中的副本被选举为Leader。如果Leader下线时,其他副本均不在ISR列表中,那么该分区将保
通过可选子句“LIKE”,筛选视图名满足规则运算表达式的视图,如果不使用这个子句,会列举所有视图。匹配的视图会按字母顺序排列。 目前规则运算表达式支持“*”或“%”用于匹配任何字符,下划线“_”用于匹配一个字符,或“|”用于条件连接两个或多个条件。 示例 SHOW MATERIALIZED
native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空)
native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空)
*”表示任意名称的数据库,然后选择所写名称),在“table”与“column”右侧填写并选择对应的表名称、列名称,均支持通配符(“*”)匹配。 在“Allow Conditions”区域,单击“Select User”下选择框选择用户。 单击“Add Permissions”,勾选“Create”。
*”表示任意名称的数据库,然后选择所写名称),在“table”与“column”右侧填写并选择对应的表名称、列名称,均支持通配符(“*”)匹配。 在“Allow Conditions”区域,单击“Select User”下选择框选择用户。 单击“Add Permissions”,勾选“Create”。
【做limit限制】 耗时:0.002 join查询时小表在右。 两表JOIN时,会将右表数据加载到内存中,再根据右表数据遍历左表做匹配,将小表放在右边,减少匹配查询的次数。根据使用的情况,大表join小表的性能比小表join大表的性能有数量级的提升。 【大表在左小表在右】 SELECT
否,执行5。 检查Oozie与DBService连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][DB Service]”,在日志中查看
是,处理完毕。 否,执行5。 检查Oozie与Yarn连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][YARN]”,在日志中查看具体告警原因
每个磁盘分区的使用情况。 实例列表区 实例列表区显示了该主机所有安装的角色实例,并显示每个角色实例的状态,单击角色实例名称后的日志文件,可在线查看该实例对应日志文件内容。 告警和事件的历史记录 告警和事件的历史记录区显示了当前主机上报的关键告警与事件记录,系统最多可显示20条历史记录。
native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空)
native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空)
单击“保存”,根据界面提示保存参数。单击“实例”,勾选所有JDBCServer实例,选择“更多 > 重启实例”,根据界面提示重启JDBCServer实例。 如果关联子查询有多行匹配(>1), 则会执行异常。 父主题: Spark SQL企业级能力增强
更新字段名 需要更新的字段 string 是 无 操作符 操作符,支持“+”、“-”和“=” enum 是 + 更新值 用来更新的值 与字段类型相匹配 否 无 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。 enum 是 AND 条件 配置过滤条件相关信息: 输入字段名
更新字段名 需要更新的字段 string 是 无 操作符 操作符,支持“+”、“-”和“=” enum 是 + 更新值 用来更新的值 与字段类型相匹配 否 无 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。 enum 是 AND 条件 配置过滤条件相关信息: 输入字段名