检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
差,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HBase组件已经安装,并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境,请参见准备Storm应用开发环境。 如果集群启用了安全服务,按登录方式分为以下两种: keytab方
文件需要root用户权限)中设置集群所有节点主机名和业务平面IP地址映射,主机名和IP地址请保持一一对应,可执行以下步骤在hosts文件中导入集群的域名映射关系。 切换至root用户或者其他具有修改hosts文件权限的用户。 su - root 进入客户端解压目录。 cd /tm
效访问有序记录的基础。 协处理器 HBase提供的在RegionServer执行的计算逻辑的接口。协处理器分两种类型,系统协处理器可以全局导入RegionServer上的所有数据表,表协处理器即是用户可以指定一张表使用协处理器。 Block Pool Block Pool是隶属于
Hive读写权限”,根据不同任务场景,勾选不同权限,单击“确定”保存。 说明: 在默认数据库中,查询其他用户表的权限:勾选“查询”。 在默认数据库中,导入数据到其他用户表的权限:勾选“删除”和“插入”。 Flink 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统
进入客户端解压路径“FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles\Hive\config”,手动将配置文件导入到Hive样例工程的配置文件目录中(通常为“resources”文件夹)。 准备MRS应用开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表4所示。
t_Cluster_1_Services_ClientConfig_ConfigFiles\Spark2x\config”,手动将配置文件导入到Spark样例工程的配置文件目录中(通常为“resources”文件夹)。 准备MRS应用开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表2所示。
进入客户端解压路径“FusionInsight_Cluster_1_Services_ClientConfig\HetuEngine\config”,手动将配置文件导入到HetuEngine样例工程的配置文件目录中(例如:D:\hetuclient\conf)。 主要配置文件说明如表3所示(根据需要获取所需文件)。
.appName("AvroSourceExample")\ .getOrCreate() # 向sc._jvm中导入要运行的类 java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.datasources
1575428400000,120.198638,30.32354 1575428400000,120.165421,30.314834 导入数据 GeoHash默认实现类扩展自定义索引抽象类。如果没有配置handler属性为自定义的实现类,则使用默认的实现类。用户可以通过扩展默
多租户相关模型如下图所示。 图1 多租户相关模型 图1中涉及的概念如表1所示。 表1 相关概念说明 概念 说明 用户 用户是拥有用户名,密码等账号信息的自然人,是大数据集群的使用者。 图中有三个不同的用户:用户A、用户B和用户C。 角色 角色是承载一个或多个权限的载体。权限是限定在具
single_replica_load_brpc_port 9070 29988 单副本数据导入功能中,Master副本和Slave副本之间通信的RPC端口。 single_replica_load_download_port 8050 29989 单副本数据导入功能中,Slave副本通过HTTP从Master副本下载数据文件的端口。
的所有节点绑定弹性公网IP,在本机(即Windows机器)上配置集群的IP与主机名映射关系时,把IP替换为主机名对应的弹性公网IP,并修改导入样例的krb5.conf文件中"kdc","admin_server",“kpasswd_server”,“kdc_listen”,“ka
1575428400000,120.198638,30.32354 1575428400000,120.165421,30.314834 导入数据 GeoHash默认实现类扩展自定义索引抽象类。如果没有配置handler属性为自定义的实现类,则使用默认的实现类。用户可以通过扩展默
选择“extract to the target JAR”后,单击“OK”。 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 为避免导入不必要Jar包引起Jar包冲突,您只需要加载IoTDB相关的基础Jar包,分别是: flink-iotdb-connector-* fli
应用开发操作步骤 确认Storm组件已经安装,并正常运行。如果业务需要连接其他组件,请同时安装该组件并运行。 将storm-examples导入到Eclipse开发环境,请参见准备Storm应用开发环境。 参考storm-examples工程src/main/resources/f
.appName("AvroSourceExample")\ .getOrCreate() # 向sc._jvm中导入要运行的类 java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.datasources
hbase-examples hbase-example HBase数据读写操作的应用开发示例。 通过调用HBase接口可实现创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能。 hbase-rest-example HBase Rest接口应用开发示例。
SparkSubmit:SparkPython类型的作业在查询时作业类型请选择SparkSubmit。 HiveScript HiveSql DistCp,导入、导出数据。 SparkScript SparkSql Flink started_time Long 参数解释: 作业开始执行时间。单位:毫秒。
fold/aggregate(返回几个标量)、take(返回前几个元素)。 生成Scala集合类型,如collect(把RDD中的所有元素导入Scala集合类型)、lookup(查找对应key的所有值)。 写入存储,如与前文textFile对应的saveAsTextFile。 还
atabase的“创建”权限,也需要拥有HBase端Namespace的“创建”权限。 用户使用load将指定目录下所有文件或者指定文件,导入数据到表中。 数据源为Linux本地磁盘,指定目录时需要此目录已经存在,系统用户“omm”对此目录以及此目录上层的每一级目录拥有“r”和“