检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Administrator”策略,用户使用的自定义委托则需要用户自己绑定。 前提条件 如需使用OBS加密功能,请先配置MRS访问OBS功能,具体请参考配置MRS集群通过IAM委托对接OBS。 Hive配置 登录MRS控制台,在左侧导航栏选择“现有集群” ,单击集群名称。 选择“组件管理 >
查看MySQL是否开启GTID功能: 使用show global variables like '%gtid%'命令查看是否开启, 具体开启方法参考MySQL对应版本的官方文档。 (MySQL 8.x版本开启指导请参见https://dev.mysql.com/doc/refman/8
通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: HBase数据读写样例运行成功会有如下信息:
info("Exiting testScanData."); } 注意事项 可以设置Batch和Caching关键参数。 Batch 使用Scan调用next接口每次最大返回的记录数,与一次读取的列数有关。 Caching RPC请求返回next记录的最大数量,该参数与一次RPC获取的行数有关。 父主题:
Class hiveMetaClass = Class.forName("org.apache.hadoop.hive.metastore.api.MetaException"); Class hiveShimClass = Class.forName("org.apache
客户端向服务端提交查询请求,然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理,用作计算实例的资源管理校验,健康监控与自动维护等。 HSConsole 对外提供数据源信息管理,计算实例管理,自动化任务的查看等功能的可视化操作界面和RESTful接口。 HSFabric
需要存放大量的小文件(10MB以下),同时又需要存放一些比较大的文件(10MB以上)。 HFS为以上场景提供了统一的操作接口,这些操作接口与HBase的函数接口类似。 HBase开源增强特性:HBase双读 在HBase存储场景下,因为GC、网络抖动、磁盘坏道等原因,很难保证99
ZooKeeper、Kerberos的安全认证,这些安全认证只需要生成一个jaas文件并设置相关环境变量即可。提供了LoginUtil相关接口来完成这些配置,如下样例代码中只需要配置用户自己申请的账号名称和对应的keytab文件名称即可,由于人机账号的keytab会随用户密码过期而失效,故建议使用机机账号进行配置。
数据,在跨机房、机架的场景中,会大大降低数据传输量,减轻网络带宽压力。社区开放了ReplicaSelector接口来支持此特性,MRS Kafka中默认提供两种实现此接口的方式。 RackAwareReplicaSelector:优先从相同机架的副本进行消费(机架内就近消费特性)。
数据,在跨机房、机架的场景中,会大大降低数据传输量,减轻网络带宽压力。社区开放了ReplicaSelector接口来支持此特性,MRS Kafka中默认提供两种实现此接口的方式。 RackAwareReplicaSelector:优先从相同机架的副本进行消费(机架内就近消费特性)。
sh 如看到“generate client patch success”打印,则说明生成补丁包成功,如出现ERROR打印,则说明生成失败,可参考步骤4.a定位。 查看日志 /opt/Bigdata/patches/log/generate_client_patch.log 具体定位失败原因。
gth。 select slice(array[1,2,3,4,5,6],2,3);-- [2, 3, 4] sort_array(x) 参考array_sort(x)。 trim_array(x, n) → array 描述:移除数组末尾n个元素。 SELECT trim_array(ARRAY[1
配置的参数不会克隆到新集群。 资源池维度的弹性伸缩策略不支持克隆。 克隆集群时克隆作业: 未通过console平台或调用v2新增并执行作业接口提交的作业无法在克隆集群时克隆 DistCp、Flink、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆 克隆的作业只能并行执行,不保证执行顺序
录。 查询使用以“cn”结尾的邮箱的员工信息。 提交数据分析任务,统计表employees_info中有多少条记录。实现请参见使用JDBC接口提交数据分析任务。 父主题: Hive JDBC访问样例程序
只能给a手动分配ID,b和c不能分配。如果用户想给b和c分配ID,用户必须手动建链。手动建链时需要使用disableChaining()接口。举例如下: env.addSource(new GetDataSource()) .keyBy(0) .timeWindow(Time.seconds(2))
录。 查询使用以“cn”结尾的邮箱的员工信息。 提交数据分析任务,统计表employees_info中有多少条记录。实现请参见使用JDBC接口提交数据分析任务。 父主题: Hive JDBC访问样例程序
Process”是Hue的核心进程,负责应用进程管理。“Supervisor Process”和“WebServer”通过“THRIFT/REST”接口与WebServer上的应用进行交互,如图1所示。 图1 Hue架构示意图 图1中各部分的功能说明如表1所示。 表1 结构图说明 名称 描述
MRS Manager支持包周期集群指定节点缩容 MRS大数据组件 解决Hivese提交sql卡顿问题 支持jobhistory查询失败信息接口 解决细粒度权限不生效问题 解决hive on Spark读取数据异常问题 解决Hive on mrs任务执行两次数据量增大问题 解决Hi
描述 Web Service 是一个部署在Tomcat下的Web服务,提供Manager的https接口,用于通过浏览器访问Manager。同时还提供基于Syslog和SNMP协议的北向接入能力。 OMS 操作维护系统的管理节点,OMS节点一般有两个,互为主备。 OMA 操作维护系统中的被管理节点,一般有多个。
ter_<集群ID>_Services_ClientConfig\HDFS\hdfs-example-normal\lib\slf4j-api-1.7.10.jar;D:\FIClient\nonSafety\FusionInsight_Cluster_<集群ID>_Servic