检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
总量几倍的数据时，通过利用磁盘来做辅助从而确保查询依然稳定执行，但依然有一些数据是必须留在内存的，如在做涉及到Join的查询时，对于当前用于Join的相同key的数据还是需要放在内存中，如果该数据量较大而内存较小依然会出现OutOfMemoryError。 有限内存下的稳定性涉及到3个子功能：
JobStart，JobEnd）按文件的大小进行决定是否写入新的日志文件。对于Spark SQL的应用，Job事件还包含ExecutionStart、ExecutionEnd。 Spark中有个HistoryServer服务，其UI页面就是通过读取解析这些日志文件获得的。在启动HistoryS
JobStart，JobEnd）按文件的大小进行决定是否写入新的日志文件。对于Spark SQL的应用，Job事件还包含ExecutionStart、ExecutionEnd。 Spark中有个HistoryServer服务，其UI页面就是通过读取解析这些日志文件获得的。在启动HistoryS
对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight
对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight
Catalog”下方的下拉框中选中“schema”，同时在其对应的输入框中输入要授权table所在的schema，如“default”。 在“schema”下方的下拉框中选中“table”，同时在其对应的输入框中输入要授权的目标table。如使用“*”，表示对所有当前schema下的所有table进行授权。
Spark跨源复杂数据的SQL查询优化 场景描述 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark在跨
Conditions 策略允许条件，配置本策略内允许的权限及例外。 在“Select Role”、“Select Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户，单击“Add Conditions”，添加策略适用的IP地址范围，单击“Add Permissions”，添加对应权限。
作业导出时，需手动勾选作业依赖的流表、UDF等信息，如果未勾选，校验时会弹出提示框提示需要勾选的依赖数据。作业的应用信息不会导出。 流表导出时，不解析处理流表的依赖，即流表依赖的应用信息不会导出。 UDF导出时，不解析处理UDF的依赖和被动依赖，即UDF依赖的应用信息和在哪些作业被使用的信息不会导出。
[1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java
如何强制停止Hive执行的MapReduce任务 问题 在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务，需要如何操作？ 回答 登录FusionInsight Manager。 选择“集群 > 待操作的集群名称 > 服务 > Yarn”。 单击左侧页面的“Re
如何强制停止Hive执行的MapReduce任务 问题 在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务，需要如何操作？ 回答 登录FusionInsight Manager。 选择“集群 > 服务 > Yarn”。 单击左侧页面的“ResourceManag
[7] }; [4] Client_new：zoo.cfg中指定的读取配置，当该名称修改时，需要同步修改zoo.cfg中对应配置。 [5] keyTab ：指明工程使用的“user.keytab”在运行样例的主机上的保存路径，使用绝对路径便于更好定位文件位置。在Windows环境
} [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”放置到"src/main/resources"的目录下。 “login”方法中的参数“java.security
响应时间过长。 不同的File Channel均需要配置一个不同的checkpoint目录。 表2 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 ssl 是否启用SSL认证（基于安全要求，建议启用此功能） 只有“Avro”类型的Source才有此配置项
Flink向Kafka生产并消费数据Java样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS client目录下获取。 样例代码
拷贝HBase配置文件至FlinkServer所在节点。 以客户端安装用户登录安装客户端的节点，拷贝HBase的“/opt/client/HBase/hbase/conf/”目录下的所有配置文件至部署FlinkServer的所有节点的一个空目录，如“/tmp/client/HBase/hbase/conf/”。
证和授权tokens，避免认证过期。 例如： spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_XXX/install/FusionInsight-Spark2x-2
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 NameService名 产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDF
Conditions 策略允许条件，配置本策略内允许的权限及例外。 在“Select Role”、“Select Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户，单击“Add Conditions”，添加策略适用的IP地址范围，单击“Add Permissions”，添加对应权限。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
