检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RY_AND_DISK)等。 pyspark.sql.SQLContext:是SparkSQL功能的主入口。可用于创建DataFrame,注册DataFrame为一张表,表上执行SQL等。 pyspark.sql.DataFrame:分布式数据集。DataFrame等效于Spar
该节点上运行的Worker,但是会无法接收新的Worker分配。当Supervisor失效时,OMS会侦测到,并及时重启该进程。 Worker失效 该Worker所在节点上的Supervisor会在此节点上重新启动该Worker。如果多次重启失败,则Nimbus会将该任务重新分配到其他节点。
、投影裁剪等,这些规则是有效的,但是它对数据是不敏感的。导致的问题是数据表中数据分布发生变化时,RBO是不感知的,基于RBO生成的执行计划不能确保是最优的。而CBO的重要作用就是能够根据实际数据分布估算出SQL语句,生成一组可能被使用的执行计划中代价最小的执行计划,从而提升性能。
29988 单副本数据导入功能中,Master副本和Slave副本之间通信的RPC端口。 single_replica_load_download_port 8050 29989 单副本数据导入功能中,Slave副本通过HTTP从Master副本下载数据文件的端口。 Guardian常用端口
RY_AND_DISK)等。 pyspark.sql.SQLContext:是SparkSQL功能的主入口。可用于创建DataFrame,注册DataFrame为一张表,表上执行SQL等。 pyspark.sql.DataFrame:分布式数据集。DataFrame等效于Spar
Join时需要注意小表不能过大,如果小表将内存基本用尽,会使整个系统性能下降甚至出现内存溢出的异常。 Sort Merge Bucket Map Join 使用Sort Merge Bucket Map Join必须满足以下2个条件: join的两张表都很大,内存中无法存放。 两张表都按照join
示例:执行下面SQL语句,a表倾斜或b表倾斜都无法触发该优化。 select aid FROM a FULL OUTER JOIN b ON aid=bid; 不支持LEFT OUTER JOIN的右表倾斜处理。 示例:执行下面SQL语句,b表倾斜无法触发该优化。 select aid FROM
示例:执行下面SQL语句,a表倾斜或b表倾斜都无法触发该优化。 select aid FROM a FULL OUTER JOIN b ON aid=bid; 不支持LEFT OUTER JOIN的右表倾斜处理。 示例:执行下面SQL语句,b表倾斜无法触发该优化。 select aid FROM
Policy”,添加Hive权限控制策略。 根据业务需求配置相关参数。 表1 Hive权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
若不开启通信安全授权,MRS将无法创建集群。集群创建成功后若关闭通信将导致集群状态为“网络通道未授权”且如下功能将受到影响: 集群组件安装、集群扩容、集群缩容、升级Master节点规格功能不可用。 集群的运行状态、告警、事件无法监控。 集群详情页的节点管理、组件管理、告警管理、文件管理、作业管理、补丁管理、租户管理功能不可用。
Join时需要注意小表不能过大,如果小表将内存基本用尽,会使整个系统性能下降甚至出现内存溢出的异常。 Sort Merge Bucket Map Join 使用Sort Merge Bucket Map Join必须满足以下2个条件: join的两张表都很大,内存中无法存放。 两张表都按照join
至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@#$%^&*()-_=+\|[{}];:'",<.>/?中的3种类型字符。 重置的密码不能是最近5次使用过的密码。 修改MRS操作系统用户密码有效期 以root用户登录待修改操作系统用户密码有效期的节点。 修改操作系统用户密码有效期。
HetuEngine支持查询下推(pushdown),它能把查询,或者部分查询,下推到连接的数据源。这意味着特殊的谓词,聚合函数或者其他一些操作,可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处: 提升整体的查询性能。 减少HetuEngine和数据源之间的网络流量。 减少远端数据源的负载。 H
重启Flink服务。 新的浮动IP请联系网络管理员提供。 重启服务期间,FlinkServer无法对外提供服务,已提交的作业不受影响。 重启FlinkServer实例期间,当前实例无法对外提供服务,已提交的作业不受影响。 查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行12。
普通模式下,初始安装后IoTDB有一个默认用户:root,密码请参见用户账号一览表章节获取。该用户为管理员用户,固定拥有所有权限,无法被赋予,无法被撤销权限,也无法被删除。 需在本地环境变量中设置环境变量认证用户名和认证用户密码,建议密文存放,使用时解密,确保安全。其中: 认证用户名为访问IoTDB的用户名。
如果缓存中被改写的SQL查询所关联的物化视图失效,或者处于REFRESHING状态,该条被改写的SQL查询将不会被使用。 当使用缓存时,被执行的SQL不能有任何改变,否则它将被当做一条新的SQL查询。 创建的物化视图中最多有500个可以用于SQL查询的改写,也就是SQL改写时使用的物化视图如
监控节点进程的YARN的Container GC日志,如果频繁出现Full GC,需要优化GC。 GC的配置:在客户端的“conf/flink-conf.yaml”配置文件中,在“env.java.opts”配置项中添加参数:“-Xloggc:<LOG_DIR>/gc.log -XX:+PrintGCDetails
算实例的资源,也能通过资源组之间的权重优先级配置保障重要任务优先执行。典型资源组使用场景如表1所示。 表1 典型资源组使用场景 典型场景 解决方案 随着使用计算实例的业务团队的增加,当某个团队的任务更加重要并且不想执行查询时没有资源。 每个团队分配一个指定的资源组;重要任务分配到
t/partitions result=failure 在ZooKeeper各个实例节点上执行id -Gn kafka命令,发现有一个节点无法查询用户组信息。 [root @bdpsit3ap03 ~]# id -Gn kafka id: kafka: No such user
components_install_mode 是 Array of ComponentInstallMode objects 参数解释: 组件模型详情。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表3 ComponentInstallMode 参数 是否必选 参数类型