检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？ 原因分析 由于窗口使用自定义窗口，这时窗口
SQLContext：是SparkSQL功能的主入口。可用于创建DataFrame，注册DataFrame为一张表，表上执行SQL等。 pyspark.sql.DataFrame：分布式数据集。DataFrame等效于SparkSQL中的关系表，可被SQLContext中的方法创建。 pyspark.sql.Data
如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。
（可选）创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具，选择“File > New > Project”，如图1所示。 图1 创建工程
Spark Core样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见collectFemaleInfo.py： def contains(str, substr): if substr
【Ranger WebUI】新用户修改完密码后无法登录Ranger WebUI界面 问题 使用新建用户登录Ranger页面，为什么在修改完密码后登录报401错误？ 回答 由于UserSync同步用户数据有时间周期，默认是5分钟，因此在Manager上新创建的用户在用户同步成功前无
【HBase WebUI】无法从HBase WebUI界面跳转到RegionServer WebUI 问题现象 MRS 1.9.3版本集群，在HBase WebUI界面单击“Region Servers”区域的“Base Status”页签中的“ServerName”列的任一Re
2, 3,4,5,6,7,8,9); 表创建成功后，执行!quit退出Phoenix命令行。 执行导入命令： hbase org.apache.phoenix.mapreduce.CsvBulkLoadTool -md '自定义分隔符' -t 表名 -i 数据路径 例如：导入数据文件“data
Impala正常使用的udf突然报了找不到类路径，Hive中可用，但Impala报找不到类路径 问题 Impala之前正常使用的udf突然报了找不到类路径，Hive中可正常使用，但Impala报找不到类路径。 回答 Impala默认将UDF对应的jar包缓存到“/tmp”目录下，
为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出？ 问题 当对decimal数据类型进行带过滤条件的查询时，输出结果不正确。 例如， select * from carbon_table where num = 1234567890123456.22; 输出结果：
当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），此时执行该语句会报如下所示的错误日志，该错误表明某个方法的代码超出了64KB。 java.util.concurrent.ExecutionException: java.lang.Exception:
更改告警阈值，单击“确定”。 连接数较多时，请确认连接的必要性，否则会对服务的性能造成影响，甚至可能造成服务不可用。 等待两分钟，在告警列表中查看该告警是否清除。 是，处理完毕。 否，执行5。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志
Flink开启Checkpoint样例程序开发思路 场景说明 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态。 数据规划 使用自定义算子每秒钟产生大约10000条数据。 产生的数据为一个四元组
配置HBase应用输出运行日志 功能介绍 将HBase客户端的日志单独输出到指定日志文件，与业务日志分开，方便分析定位HBase的问题。 如果进程中已经有log4j的配置，需要将“hbase-example\src\main\resources\log4j.properties”
运行HBase应用开发程序产生ServerRpcControllerFactory异常 检查应用开发工程的配置文件hbase-site.xml中是否包含配置项hbase.rpc.controllerfactory.class。 <name>hbase.rpc.controllerfactory
实现Hive进程访问多ZooKeeper 功能简介 FusionInsight支持在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，分别通过“testConnectHive”和“testConnectApacheZK”方法实现。
为什么在启动spark-beeline的命令中指定“--hivevar”选项无效 问题 为什么在启动spark-beeline的命令中指定“--hivevar”选项无效？ 在MRS集群启动spark-beeline的命令中如果使用了“--hivevar <VAR_NAME>=<v
MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常 问题 HBase bulkload任务有210000个map和10000个reduce，MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常。 For more
导入配置文件时，建议配置source/channel/sink的各自的个数都不要超过40个，否则可能导致界面响应时间过长。 表1 Flume角色客户端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空，必须唯一。 test spoolDir 待采集的文件所在的目录路
待操作集群的名称 > 服务 > Spark2x > 配置”。单击“全部配置”。 选择“SparkResource2x > 默认”，修改以下参数： 表1 参数列表 参数 默认值 修改结果 spark.shuffle.service.enabled false true 重启Spark2x服务，配置生效。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
