检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如需使用Hive在beeline模式下创建表时,配置内置用户“hive”。 单击“确定”。 勾选“我同意授权MRS用户(组)与IAM委托之间的信任关系。”,并单击“确定”,完成MRS用户与OBS权限的映射关系。 当集群详情页面“概览”页签的“OBS权限控制”后出现或OBS权限控制的映射表已刷新,表示映射生效(过程大约需要1分钟)。
_ip_list= native_dataSource_ip_list= 表1 配置说明表 配置名称 默认值 含义 loadBalancerIPList - 必填参数,配置为LoadBalance的IP列表。 登录FusionInsight Manager,选择“集群 > 服务 >
支持,左右表可选择使用watermark或者时间范围进行状态清理 Left Outer 有条件的支持,左表可选择使用watermark进行状态清理,右表必须使用watermark+时间范围 Right Outer 有条件的支持,右表可选择使用watermark进行状态清理,左表必须使用watermark+时间范围
如果没有设置默认资源组,而又不符合其他资源组选择器条件则查询会被拒绝。选择器规则参数配置请参见表3。 表3 选择器规则 配置项 必选/可选 配置说明 user 可选 匹配用户名的正则表达式。 source 可选 匹配请求源,参见选择器属性的配置中--source选项的配置值。 queryType
WebUI,请参考访问FlinkServer WebUI界面。 单击“依赖管理”进入依赖管理页面。 单击“添加依赖”,可参考如下添加依赖。 表1 添加依赖 参数 描述 示例 是否自定义connector 是否自定义connector,根据实际需求选择: 是:文件为自定义connector依赖包。
三个模块组成,数据先进入Source然后传递到Channel,最后由Sink发送到下一个Agent或目的地(客户端外部)。各模块说明见表1。 表1 模块说明 名称 说明 Source Source负责接收数据或产生数据,并将数据批量放到一个或多个Channel。Source有两种类型:数据驱动和轮询。
luster1的userA没有访问本集群HBase meta表权限,但是cluster2的userA有访问该集群HBase meta表权限,则cluster1的userA可以访问cluster2的HBase meta表。 跨Manager之间的安全集群间组件互相访问,需要先配置系统互信。
Bigdata/hive/webhcat/webhcat.log”报错“Service not found in Kerberos database”和“Address already in use”。 处理步骤 依次登录WebHCat实例所在节点检查“/etc/hosts”文件
在主机详情页面,主要包含基本信息区、磁盘状态区、实例列表区和监控图表等。 单击“图表”页签,可直接查看该主机的全量监控图表信息。 图表页面可直接查看该主机的全量监控图表信息 MRS 2.x及之前版本 登录MRS Manager。 单击“主机管理”,看所有主机状态。 单击列表中指定的主机名称,查看单个主机状态及指标。
hive conn = hive.Connection(host=JDBCServerHost, port=JDBCServerPort,database='default') cursor=conn.cursor() cursor.execute("select * from test")
x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Kafka”。 单击“KafkaTopic监控”。 主题列表默认显示所有主题。可以查看主题的分区数和备份数。 在主题列表单击指定主题的名称,可查看详细信息。 如果执行过以下几种操作: Kafka或者Zookeeper进行过扩容或缩容操作。
ection的生命周期由调用者维护,调用者通过调用close(),释放资源。 代码样例 以下代码片段是登录,创建Connection并创建表的示例,在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的HBaseSample方法中。
ection的生命周期由调用者维护,调用者通过调用close(),释放资源。 代码样例 以下代码片段是登录,创建Connection并创建表的示例,在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的HBaseSample方法中。
appName("KafkaWordCount") .getOrCreate() import spark.implicits._ //创建表示来自kafka的输入行流的DataSet。 val lines = spark .readStream .format("kafka")
ection的生命周期由调用者维护,调用者通过调用close(),释放资源。 代码样例 以下代码片段是登录,创建Connection并创建表的示例,在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的HBaseSample方法中。
ection的生命周期由调用者维护,调用者通过调用close(),释放资源。 代码样例 以下代码片段是登录,创建Connection并创建表的示例,在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的HBaseSample方法中。
该参数修改后需要重新下载客户端。 spark.thriftserver.proxy.enabled 是否使用多租户模式。 false表示使用多实例模式。 true表示使用多租户模式。 true spark.thriftserver.proxy.maxThriftServerPerTenancy
当执行结果输出到文件或者其他,由Flink应用程序指定,您可以通过指定文件或其他获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例: 查看Checkpoint结果和文件 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs
Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的IndexServer2x,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > IndexServer2x内存使用率统计”,单击“确定”,查看IndexServer2x进程使用的非堆
Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的JobHistory2x,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > JobHistory2x内存使用率统计”,单击“确定”,查看JobHistory2x进程使用的堆内存是