检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
public void init(ProcessorContext context) { // 在本地保留processor context,因为在punctuate()和commit()时会用到 this.context
和高效。表格式只支持TextFile和RCFile。 本章节适用于MRS 3.x及后续版本。 操作步骤 使用客户端安装用户登录客户端所在节点。 执行以下命令,切换到客户端安装目录,如:/opt/client。 cd /opt/client 执行以下命令配置环境变量。 source
HetuEngine样例程序(Python3) 通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 父主题: 开发HetuEngine应用
此副本数不允许超过节点个数。 Consumer客户端的配置参数“fetch.message.max.bytes”大小 Consumer客户端的配置参数“fetch.message.max.bytes”必须大于等于Producer客户端每次产生的消息最大字节数。如果参数的值太小,可
Spark主要使用到如下这几个类: JavaSparkContext:是Spark的对外接口,负责向调用该类的Java应用提供Spark的各种功能,如连接Spark集群,创建RDD,累积量和广播量等。它的作用相当于一个容器。 SparkConf:Spark应用配置类,如设置应用名称,执行模式,executor内存等。
策略,可参考创建FlinkServer作业在作业开发界面配置(MRS 3.1.0及以后版本)。 重启策略也可以通过Flink的配置文件“客户端安装目录/Flink/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定,为全局配置,
使用Flume Flume向Spark Streaming提交作业后报类找不到错误 Flume客户端安装失败 Flume客户端无法连接服务端 Flume数据写入组件失败 Flume服务端进程故障 Flume数据采集慢 Flume启动失败
功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTPS协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“d
功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTP协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“d
功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTPS协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“d
功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTP协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“d
HetuEngine样例程序(Java) 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通过JDBC方式实现查询HetuEngine SQL任务 父主题: 开发HetuEngine应用
副本的最小数目。 在客户端配置文件producer.properties中配置如表2中参数,producer.properties存放路径为:Kafka客户端安装路径/Kafka/kafka/config/producer.properties。 表2 客户端高可用性和高性能参数说明
HBase HBase jar包冲突列表 Jar包名称 描述 hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群内的ZooKeeper包“zookeeper*
多。 处理步骤 登录集群客户端。 以root用户登录任意一个Master节点,用户密码为创建集群时用户自定义的密码。 如果集群开启Kerberos认证,执行如下命令进入客户端安装目录并设置环境变量,再认证用户并按照提示输入密码,该密码请向管理员获取。 cd 客户端安装目录 source
被全部删除。在spark2.3版本中,增加了对未指定表达式的分区动态匹配的支持,此种语法与Hive的动态分区匹配语法行为一致。 配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数
存算分离常见问题 运行MRS作业时如何读取OBS加密数据 HDFS对接OBS业务应用开发样例说明 MRS集群客户端如何通过AK/SK信息对接OBS 安装在集群外的MRS客户端如何访问OBS 访问MRS集群Manager(2.x及之前版本) MRS集群Core节点扩容成功后状态异常如何处理
Access Denied Presto的coordinator进程无法正常启动 Presto查询Kudu表时系统报错找不到表 Presto查询Hive表无数据 MRS Presto查询报错“The node may have crashed or be under too much
发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。可参考Kafka Shell命令介绍。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 性能调优建议
fka集群某Topic发送一条消息,另外,还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 父主题: 开发Kafka应用