检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BO。 spark.sql.cbo.joinReorder.enabled : true,默认为false,修改为true开启连接重排序。 若使用客户端提交任务,“spark.sql.cbo.enabled”、“spark.sql.cbo.joinReorder.enabled”、“spark
功能。日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能。 然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获
如对一个很大的数据求TopN,当N不是很大时,可以先使用mapPartitions对每个partition求TopN,collect结果到本地之后再做排序取TopN。这样相比直接对全量数据做排序取TopN效率要高很多。 使用coalesce调整分片的数量 coalesce可以调整
如对一个很大的数据求TopN,当N不是很大时,可以先使用mapPartitions对每个partition求TopN,collect结果到本地之后再做排序取TopN。这样相比直接对全量数据做排序取TopN效率要高很多。 使用coalesce调整分片的数量 coalesce可以调整
解决办法 ZooKeeper连接失败导致。 Kafka客户端连接ZooKeeper服务超时。检查客户端到ZooKeeper的网络连通性。 网络连接失败,通过Manager界面查看Zookeeper服务信息。 图1 Zookeeper服务信息 配置错误,修改客户端命令中ZooKeeper地址。
回答 如果用户遇到chrome浏览器无法显示title,步骤如下: 请检查本机是否同时运行会影响chrome浏览器冒泡提示的工具,如果运行了,需要将该工具关闭。 父主题: Flink应用开发常见问题
回答 如果用户遇到chrome浏览器无法显示title,步骤如下: 请检查本机是否同时运行会影响chrome浏览器冒泡提示的工具,如果运行了,需要将该工具关闭。 父主题: Flink应用开发常见问题
boolean 本地化需求优先,如果不能满足则不强制满足。 locality object 本地化对象。 target string 本地化目标的名称(即:节点1,框架1)。 count int 资源“单元”数量与所需的本地需求。 strict boolean 是否强制本地性。 resourceselect
修改MRS集群LDAP普通用户密码 该任务指导用户定期修改MRS集群的LDAP管理员用户和LDAP用户的密码,以提升系统运维安全性。 MRS 3.1.0版本用户名称: LDAP管理员用户:cn=root,dc=hadoop,dc=com LDAP用户:cn=pg_search_dn
群名称、IAM用户同步等功能,集群的运行状态也将无法监控。 注册华为云并实名认证 如果用户已注册华为云,可直接登录管理控制台,访问MRS服务。如果用户没有登录管理控制台的账号,请先注册华为云。注册成功后,该账号可访问华为云的所有服务,包括MRS服务。 打开华为云网站。 单击“注册”,根据提示信息完成注册。
MRS集群用户权限模型 MRS集群用户认证策略 MRS集群用户鉴权策略 MRS集群默认权限信息说明 IAM用户同步MRS集群说明 父主题: 管理MRS集群用户
解锁MRS集群用户 解锁MRS集群LDAP用户 解锁MRS集群LDAP管理账户 父主题: 管理MRS集群用户
进程JVM参数,设置成“true”用于打开动态设置日志级别功能。 未配置,即为false。 Driver、Executor、AM进程的JVM参数如表2所示。在Spark客户端的配置文件“spark-defaults.conf”中进行配置。Driver、Executor、AM进程的日志级别在对应的JVM参数中的“-Dlog4j
前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 开启Doris慢查询功能 登录FusionInsight Manager,选择“集群 > 服务
为保证ClickHouseServer实例所在节点其他服务实例的正常使用,ClickHouseServer支持修改在当前节点占用的最大内存。 操作步骤 登录FusuinInsight Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer(角色)
限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。 操作步骤 启动ZooKeeper客户端 以root用户登录安装了ZooKeeper客户端的服务器。 进入客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。
令(例如source bigdata_env),或修改了环境变量。3.2.0之后版本已修复该问题。 处理步骤 以omm用户通过主管理节点IP登录主管理节点。 执行以下命令查看执行结果是否为“/usr/bin/openssl”。如果不是请修改openssl为系统默认的/usr/bin/openssl。
操作步骤 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM
如下参数MRS的Flink默认配置没有,用户可以根据需要进行添加,外部连接开启SSL,YARN的代理无法访问Flink页面。这是由于YARN不支持https代理。配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 参数 参数值示例 描述 security.ssl
在Linux中调测Presto应用开发 JDBC客户端运行及结果查看 执行mvn clean compile assembly:single生成jar包,在工程目录target目录下获取,比如:presto-examples-1.0-SNAPSHOT-jar-with-dependencies