检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
se和table是3中查询的结果。 show create table database.table; 执行以下SQL语句，删除只读表，再根据6的表结构信息，重新创建只读表，等待几分钟，再执行3中的SQL，查看结果中是否包含当前只读表。 drop database.table no
Driver负责任务的调度，和Executor、AM之间的消息通信。当任务数变多，任务平行度增大时，Driver内存都需要相应增大。 您可以根据实际任务数量的多少，为Driver设置一个合适的内存。 将“spark-defaults.conf”中的“spark.driver.memory”配置项设置为合适大小。
检查告警阈值配置或者平滑次数配置是否合理。 基于实际CPU使用情况，修改告警阈值和平滑次数配置项。 登录FusionInsight Manager，根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > CPU > 主机CPU使用率”中更改告警的平滑次数，如图1所示。
概述”区域）查看“丢失块数”参数值是否为0。 是，处理完毕。 否，查看是否上报“ALM-14003 丢失的HDFS块数量超过阈值”告警，并根据告警帮助进行处理。 收集故障信息。 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”。
待操作集群的名称 > 服务 > Mapreduce > 配置 > 全部配置 > JobHistoryServer > 系统”。将“GC_OPTS”参数根据实际情况调大，并单击“保存”，单击“确定”并进重启。 历史任务数10000和JobHistoryServer内存的对应关系如下： -Xms30G
若接口值为true，则代表sparkContext已完全stop。 若接口值为false，则代表sparkContext没有完成stop。 例如：用户根据jsc.sc().isSparkContextDown().get() == true 可判断sparkContext已完全stop。 Spark
IDEA开发环境，参见准备Storm应用开发环境。 工程导入后，修改样例工程的“resources/flux-examples”目录下的“jdbc.properties”文件，根据实际环境信息修改相关参数。 #配置JDBC服务端IP地址 JDBC_SERVER_NAME= #配置JDBC服务端端口 JDBC_PORT_NUM=
户组中的用户获得相应的权限，这一过程称为授权。授权后，用户就可以基于已有权限对云服务进行操作。 权限根据授权的精细程度，分为角色和策略。角色以服务为粒度，是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒度进行权限拆分，授权更加精细，可以精确到
override def cancel(): Unit = { running = false } } } 生成Table1和Table2，并使用Join对Table1和Table2进行联合查询，打印输出结果。 object SqlJoinWithSocket
的表没有数据），用于在Backend上产生对应的快照目录，接收从远端仓库下载的快照文件。 下载快照 远端仓库中的快照文件，会被下载到对应的生成的快照目录中，由各个Backend并发完成。 生效快照 快照下载完成后，要将各个快照映射为当前本地表的元数据。然后重新加载这些快照，使之生效，完成最终的恢复作业。
若接口值为true，则代表sparkContext已完全stop。 若接口值为false，则代表sparkContext没有完成stop。 例如：用户根据 jsc.sc().isSparkContextDown().get() == true 可判断sparkContext已完全stop。 Spark
若接口值为true，则代表sparkContext已完全stop。 若接口值为false，则代表sparkContext没有完成stop。 例如：用户根据 jsc.sc().isSparkContextDown().get() == true 可判断sparkContext已完全stop。 Spark
reduces”。 map个数取决于使用了哪种InputFormat，以及待处理的数据文件是否可分割。默认的TextFileInputFormat将根据block的个数来分配map数(一个block一个map)。通过如下配置参数进行调整。 参数入口： 进入Yarn服务参数“全部配置”界面，
配置”，选择“全部配置”。 在左侧导航栏选择“NodeManager > 自定义”，找到yarn-site.xml文件。 添加表1和表2中的参数为自定义参数。 根据配置文件与参数作用，在“yarn-site.xml”所在行“名称”列输入参数名，在“值”列输入此参数的参数值。 单击“＋”增加自定义参数。
SQL中进行Join操作时，可以按照以下步骤进行优化。为了方便说明，设表A和表B，且A、B表都有个名为name的列。对A、B表进行join操作。 估计表的大小。 根据每次加载数据的大小，来估计表大小。 也可以在Hive的数据库存储路径下直接查看表的大小。首先在Spark的配置文件“hive-site.x
Service启动的线程数为80，80个线程共享进程里的Direct buffer Memory，这种场景下每个线程分配到的内存将不足2MB）。 因此建议根据集群中的NodeManager节点的CPU核数适当调整Direct buffer Memory，例如在CPU核数为40时，将Direct buffer
spark.SparkConf 分布式模式下，应注意Driver和Executor之间的参数传递 在Spark编程时，总是有一些代码逻辑中需要根据输入参数来判断，这种时候往往会使用这种方式，将参数设置为全局变量，先给定一个空值（null），在main函数中，实例化SparkConte
数据更新，但Global索引性能较差一般不建议使用。 建议 事实表采用日期分区表，维度表采用非分区或者大颗粒度的日期分区 是否采用分区表要根据表的总数据量、增量和使用方式来决定。从表的使用属性看事实表和维度表具有的特点： 事实表：数据总量大，增量大，数据读取多以日期做切分，读取一定时间段的数据。
员。 查看日志文件“$BIGDATA_LOG_HOME/nodeagent/scriptlog/checkfileconfig.log”，根据错误日志分析原因。在参考信息中查找该文件的检查标准，并对照检查标准对文件进行进一步的手动检查和修改。 执行vi 文件名命令进入编辑模式，按“Insert”键开始编辑。
调整“-XX:MaxDirectMemorySize”大小。 在“GC_OPTS”中查看 “-Xmx”配置的大小，并判断节点内存是否够用。 节点内存是否够用可根据实际环境进行判断，例如可使用以下方法： 以root用户登录告警上报的实例的IP地址，执行free -g命令，查看“free”列的“Mem”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
