检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所
将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户
Manager页面右下角查看。 操作场景 ClickHouse针对多个场景提供样例工程,帮助客户快速学习ClickHouse工程。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“clickhouse-examples”以及Maven相关配置。
Manager页面右下角查看。 操作场景 ClickHouse针对多个场景提供样例工程,帮助客户快速学习ClickHouse工程。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“clickhouse-examples”以及Maven相关配置。
单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 已添加资源池。 任务队列与其他资源池无关联关系,除了默认的“default”资源池。 通过管理控制台配置队列容量策略
ou=Users,dc=hadoop,dc=com 该章节仅适用于MRS 2.x及之前版本和MRS 3.1.0版本,MRS 3.1.0之后版本请参考修改OMS服务配置章节。 针对MRS 3.1.0版本集群: 修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 旧版本集群升级到
如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建Hive表的权限,具体请参见创建角色配置拥有对应权限的角色,参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 例如,kinit hiveuser。
INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Kafka的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存
需要存放大量的小文件(10MB以下),同时又需要存放一些比较大的文件(10MB以上)。 HFS为以上场景提供了统一的操作接口,这些操作接口与HBase的函数接口类似。必须在HBase的配置参数“hbase.coprocessor.master.classes”中增加一个值:“org
创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象:ou
当查询语句中包含关键字limit时,启用或禁用CarbonData块分布。默认值为“false”,将对包含关键字limit的查询语句禁用块分布。此参数调优请参考CarbonData性能调优常见配置参数。 carbon.custom.block.distribution false 指定是使用Spa
创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象:ou
入成功,那么Leader提交该请求并返回成功,否则返回失败。 Follower或Observer返回写请求处理结果。 只读请求 客户端直接向Leader、Follower或Observer读取数据。 ZooKeeper常见规格 ZooKeeper服务的常见系统规格如ZooKeeper常见规格所示。
Join样例程序(Scala) 本章节适用于MRS 3.3.0及以后版本。 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*
er的目的。 绑定一个弹性公网IP。 集群节点 配置集群节点信息。 保持默认值。 图3 自定义购买-硬件配置 单击“下一步”,高级配置页签参考表3配置以下信息,其他选项保持默认值。 表3 高级配置 参数名称 参数说明 取值样例 Kerberos认证 登录Manager管理页面时是否启用Kerberos认证。
也可以将HDFS的数据导进到关系型数据库中。 前提条件 MRS 3.1.0及之后版本在创建集群时已勾选Sqoop组件。 安装客户端,具体请参考安装客户端(3.x及之后版本)。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 客户端目
创建FileSystem对象:fSystem。 调用fSystem的mkdir接口创建目录。 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象:ou
调用FileSystem中的create接口获取文件系统客户端 调用FileSystem中的crteateFile接口创建文件 调用FileOutStream中的wirte接口写文件 调用FileSystem中的openFile接口打开文件 调用FileInStream中的in接口读取文件 父主题: 开发Alluxio应用
当查询语句中包含关键字limit时,启用或禁用CarbonData块分布。默认值为“false”,将对包含关键字limit的查询语句禁用块分布。此参数调优请参考CarbonData性能调优常见配置参数。 carbon.custom.block.distribution false 指定是使用Spa
Join样例程序(Scala) 本章节适用于MRS 3.3.0及以后版本。 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*