检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink应用开发简介 简介 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并
useTicketCache=false storeKey=true debug=true; }; 参数keyTab和principal根据实际情况修改。 问题:执行Flume客户端连接HBase报如下错误: Caused by: java.io.IOException: /opt/Flu
为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 将krb5.conf文件中的IP地址修改为对应IP的主机名称。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签,选择
spark”,右边文本框填写属性值“spark2x”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Spark-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面
Hive SQL扩展语法说明 Hive SQL支持Hive-3.1.0版本中的所有特性,详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。 MRS系统提供的扩展Hive语句如表1所示。 表1 扩展Hive语句
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
Kafka > 配置 > 全部配置”进入Kafka服务配置页面,搜索“allow.everyone.if.no.acl.found”配置项,将该值修改为“true”后,重新运行程序。 父主题: Kafka应用开发常见问题
WebUI”右侧的超链接进入Doris WebUI登录页面,输入具有Doris管理权限的用户名和密码(集群已启用Kerberos认证(安全模式)需已修改初始密码),创建用户相关操作请参见创建Doris权限角色,单击“Login”: 在Doris WebUI首页中查看Doris集群相关信息,
sources”文件夹下的配置文件上传到Linux环境的“src/main/resources”目录。 在IntelliJ IDEA工程中修改WordCountTopology.java类,使用remoteSubmit方式提交应用程序。并替换用户keytab文件名称,用户principal名称,和Jar文件地址。
交用户后对Worker进程执行jstack和jmap等命令执行失败,原因是提交用户的默认gid并不是ficommon,需要通过ldap命令修改提交用户的gid为9998(ficommon)才可执行。 解决办法 共有两种方式解决该问题。 方式一:通过storm原生页面查看进程堆栈 登录Storm原生界面。
piece by piece by 1 month (or .. day) GROUP BY a, d; 修改明细表、聚合表结构,严格按照以下步骤实施: 停止明细表数据插入。 修改聚合表结构设计。 删除物化视图表。 重新创建新转化关系的物化视图。 父主题: ClickHouse物化视图设计
ient为例)的HBase/hbase/conf目录下,并修改hbaseclient.properties文件。userKeytabName,krb5ConfName对应于从2获取的文件的地址。若使用REST接口时需修改rest.server.info,使其对应于rest ser
自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 进入HBase服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC,RCFile,TextFi
”,记录Topic及Partition。 修改“kafka-logs”目录下的“recovery-point-offset-checkpoint”和“replication-offset-checkpoint”文件(两个文件做同样的修改)。 减少文件中第二行的数字(若移出多个目录,则减少的数字为移出的目录个数)。
Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
创建Maven项目,“groupId”配置“com.test.udf”,“artifactId”配置“udf-test”。这个两个值可根据实际情况自定义。 修改“pom.xml”文件如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www