检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码? 回答 MapReduce开发调试采用的原理是Java的远程调试机制,在Map/Reduce任务启动时,添加Java远程调试命令。 首先理解两个参数:“mapreduce.map.java
使用Filter过滤器读取HBase表数据 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤,通过设置一些过滤条件来实现,如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.exampl
接口说明。 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息,以便NettySource连接使用。为用户提供以下接口: public interface RegisterServerHandler { /** * 启动注册服务器 * @param
使用REST接口获取所有HBase表 功能简介 使用REST服务,传入对应host与port组成的URL,通过HTTPS协议,获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\
Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常 问题 在omm用户(非root用户)下,通过spark-submit提交yarn-client模式的任务,会出现FileNotFoundExcepti
Spark Structured Streaming样例程序(Java) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 代码样例 下面代码片段仅为演示,具体代码参见:com
定义的阈值。一般建议以5-10秒/次为宜。 方式二:将Kafka的阈值调大,建议在FusionInsight Manager中的Kafka服务进行参数设置,将socket.request.max.bytes参数值根据应用场景,适当调整。 父主题: Spark应用开发常见问题
MapReduce Java API接口介绍 关于MapReduce的详细API可以参考官方网站:http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下: org.apache.hadoop
Spark Structured Streaming样例程序(Python) 功能介绍 在Spark应用中,通过使用StructuredStreaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数。 代码样例 下面代码片段仅为演示,具体代码参见:
使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息 问题 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息 回答 问题原因: 在IBM JDK下建立的JDBC connection时间超过登
使用Spark执行Hudi样例程序(Python) 下面代码片段仅为演示,具体代码参见:HudiPythonExample.py。 插入数据: #insert inserts = sc._jvm.org.apache.hudi.QuickstartUtils.convertToStringList(dataGen
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session启动失败。
如何处理IE10/11页面算子的文字部分显示异常 问题 如何处理IE10/11页面显示异常,每个算子的文字部分没有显示出来的问题?如图1所示,Overview显示为空白。 图1 页面显示异常 回答 Flink中用了foreignObject元素来代理绘制svg矢量图,但是IE 1
如何处理blob.storage.directory配置/home目录时启动yarn-session失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session启动失败。
FlinkServer REST API样例程序开发思路 场景说明 本样例调用FlinkServer的RestAPI创建租户。 数据规划 准备用户认证文件:登录Manager下载用户凭证,获取“user.keytab”和“krb5.conf”文件。 准备待创建的租户信息,如“te
FlinkServer REST API样例程序(Java) 功能介绍 通过调用FlinkServer RestAPI创建租户。 代码样例 具体代码参见com.huawei.bigdata.flink.examples.TestCreateTenants。 public class
37:29902,192.168.195.232:29902,192.168.169.84:29902”。 在Manager页面,选择“集群 > 服务 > HetuEngine > 实例”,获取HSFabric所有实例的业务IP;在“配置”页签,搜索“gateway.port”,获取HSFabric的端口号。
基于全局二级索引查询HBase表数据 功能简介 添加了全局二级索引的用户表,在使用索引条件进行查询时,可以转换为对索引表的范围查询,性能高于针对无二级索引用户表的数据查询。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“Globa
HBase全局二级索引样例程序开发思路 HBase支持使用全局二级索引加速条件查询,通过本样例,您可以了解如何管理及使用全局二级索引。 该样例程序仅适用于MRS 3.3.0及之后版本。 场景说明 假定用户开发一个应用程序,其中一个功能需要记录用户信息及地址,记录数据如下表: 表1