正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决办法 停止当前应用,保证服务端句柄不再疯狂增加影响服务正常运行。 优化应用代码,解决句柄泄露问题。 建议:全局尽量使用一个Producer对象,在使用完成之后主动调用close接口进行句柄关闭。 父主题: 使用Kafka
在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。
32768 spark.io.compression.snappy.block.size 当使用Snappy压缩算法时Snappy压缩中使用的块大小(字节)。当使用Snappy时降低块大小同样也会降低shuffle内存使用。
以下操作皆以用户使用FusionInsight客户端提交Spark2x应用为基础,若用户使用了自己的配置文件目录,则需要修改本应用配置目录中的对应文件,并注意需要将配置文件上传到executor端。
应用名(适用于MRS 3.2.1及以后版本) 产生告警的应用名称。 任务名 产生告警的任务名称。 用户名 产生告警的用户名称。
32768 spark.io.compression.snappy.block.size 当使用Snappy压缩算法时Snappy压缩中使用的块大小(字节)。当使用Snappy时降低块大小同样也会降低shuffle内存使用。
如图3所示,客户端应用请求集群时,使用ELB(Elastic Load Balance)来进行流量分发,通过ELB的轮询机制,写不同节点上的本地表(Local Table),读不同节点上的分布式表(Distributed Table),这样,无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
(clientInfo.getImpalaServer()).append("/"); if (isSecurityMode) { sBuilder.append(";auth=") .append(
(clientInfo.getImpalaServer()).append("/"); if (isSecurityMode) { sBuilder.append(";auth=") .append(
应用名 产生告警的应用名称。 任务名 产生告警的任务名称。 用户名 产生告警的用户名称。 附加信息 ThreshHoldValue 系统当前指标取值满足自定义的告警设置条件的门限值。 CurrentValue 系统当前指标取值满足自定义的告警设置条件的当前值。
存算分离常见问题 运行MRS作业时如何读取OBS加密数据 HDFS对接OBS业务应用开发样例说明 MRS集群客户端如何通过AK/SK信息对接OBS 安装在集群外的MRS客户端如何访问OBS 访问MRS集群Manager(2.x及之前版本) MRS集群Core节点扩容成功后状态异常如何处理
客户端向ResourceManager发送Spark应用提交请求,ResourceManager为其返回应答,该应答中包含多种信息(如ApplicationId、可用资源使用上限和下限等)。
在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”,为对应用户的用户组赋予OBS存储路径的“Read”和“Write”的权限。
图2 HetuEngine跨源功能示意 HetuEngine跨域功能简介 HetuEngine提供统一标准SQL对分布于多个地域(或数据中心)的多种数据源实现高效访问,屏蔽数据在结构、存储及地域上的差异,实现数据与应用的解耦。
检查连接到当前Impalad的JDBC应用数,并关闭闲置的应用,观察告警是否自动清除。 是,操作结束。 否,执行3,修改并发客户端连接数。
检查连接到当前Impalad进程的ODBC应用数,并关闭闲置的应用,观察告警是否自动清除。 是,处理完毕。 否,执行3,修改并发Impalad支持的并发连接数。
Topology 在Storm平台上运行的一个实时应用程序,由各个组件(Component)组成的一个DAG(Directed Acyclic Graph)。一个Topology可以并发地运行在多台机器上,每台机器上可以运行该DAG中的一部分。
表2 常用信息 参数 参数描述 appsSubmitted 已经提交的任务数。 appsCompleted 已经完成的任务数。 appsPending 正在挂起的任务数。 appsRunning 正在运行的任务数。 appsFailed 已经失败的任务数。