检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
i.org/地址中搜索下载decorator、gssapi、kerberos、krbcontext、pure-sasl、thrift包(未开启Kerberos认证的普通集群仅需安装thrift包),并上传到master节点上,例如:新建目录“/opt/hbase-examples/python”
Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景,例如:Kafka Source+Memory
enableTable(final TableName tableName) 启用指定的表。如果表的region数量过多,该方法可能调用超时。 void enableTableAsync(final TableName tableName) 启用指定的表。该方法为异步调用,不会等待所有region上线后才返回。
该用户的keytab文件。 票据方式:从管理员处获取一个“人机”用户,用于后续的安全登录,开启Kerberos服务的renewable和forwardable开关并且设置票据刷新周期,开启成功后重启kerberos及相关组件。 获取的用户需要属于storm组。 默认情况下,用户的
设置属性:设置连接ClickHouse服务实例的参数属性。 建立连接:建立和ClickHouse服务实例的连接。 创建库:创建ClickHouse数据库。 创建表:创建ClickHouse数据库下的表。 插入数据:插入数据到ClickHouse表中。 查询数据:查询ClickHouse表数据。 删除表:删除已创建的ClickHouse表。
实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口:集群已启用Kerberos认证(安全模式)时Broker端口为“sasl.port”参数的值。集群未启用Kerberos认证(普通模式)时Broker端口为“port”的值。 重新打开一个客户端连
val words = str.split("\\s") if (words.length < 2) return new Tuple2[String, String] new Tuple2[String, String](words(0), words(1))
执行以下命令配置环境变量: source /opt/Bigdata/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinitMRS集群用户 例如, kinit admin 执行组件的客户端命令。
2); records.addAll(toBeUpdated); recordsSoFar.addAll(toBeUpdated); writeRecords = jsc.parallelize(records, 1); client.upsert(writeRecords, newCommitTime);
2); records.addAll(toBeUpdated); recordsSoFar.addAll(toBeUpdated); writeRecords = jsc.parallelize(records, 1); client.upsert(writeRecords, newCommitTime);
启用MRS集群间拷贝功能 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用,复制数据的集群双方都需要配置。 管理员可以根据以下指导,在Manager修改参数以启用集群间拷贝功能,启用
encoding”区域,选中“Other”,并设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图1所示。 图1 设置Eclipse的编码格式 修改样例(未开启Kerberos认证集群可跳过此步骤)。 在4获取新建开发用户的krb5.conf和user.keytab文件后,修改presto.pro
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
登录备集群FusionInsight Manager。 下载并安装HBase客户端。 在备集群HBase客户端,以hbase用户执行以下命令指定备集群写数据状态启用。 cd 客户端安装目录 source bigdata_env kinit hbase hbase shell set_clusterState_active
Reduce input records=6 Reduce output records=2 Spilled Records=12 Shuffled Maps
存到Kafka的Topic列表(test1)。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景,例如:Spooldir Source+Memory
} } LOG.info("Exiting createIndex."); } 新创建的二级索引默认是不启用的,如果需要启用指定的二级索引,可以参考如下代码片段。该代码片段在com.huawei.bigdata.hbase.examples包的“HBas
在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点,如下图所示。 图4 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始调试,比如单步调试、查看调用栈、跟踪变量值等,如下图所示。 图5 调试 父主题: Storm应用开发常见问题
enableIndices(TableName tableName,List <String> list) 参数:TableName 用户希望启用指定索引的表的名称 参数:List <String> 包含要启用的索引名称的列表 返回类型:void listIndices(TableName tableName) 参数:TableName
'table2', 'cf' 通过HBase插入数据,执行如下命令。 put 'table2', '1', 'cf:cid', '1000' 如果开启了kerberos认证,需要将客户端的配置文件“spark-default.conf”和sparkJDBC服务端中的配置项spark.yarn