检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
examples.KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} JAR_PATH为程序jar包所在路径; BrokerList格式为brokerIp:9092; 若用户需要对接安
properties --max-life-time-period -1 --renewer-principal User:username 列出归属在特定用户下的所有Token信息: ./kafka-delegation-tokens.sh --describe --bootstrap-server
properties --max-life-time-period -1 --renewer-principal User:username 列出归属在特定用户下的所有Token信息: ./kafka-delegation-tokens.sh --describe --bootstrap-server
使用presto客户端或jdbc、UI工具连接Presto服务,执行命令show schemas from myhive; 可以看到目标集群上的database即为配置成功。 父主题: Presto常见问题
LIMIT | FETCH FIRST LIMIT和FETCH FIRST都可以限制结果集中的行数。Limit和offset可以配合使用进行分页查询。 LIMIT LIMIT { count | ALL } 下面的查询限制返回的行数为5: SELECT * FROM fruit LIMIT
为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组(无穷)元素的集合,流上的每个元素都属于同一个schema;每个
为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组(无穷)元素的集合,流上的每个元素都属于同一个schema;每个
调整Hudi数据源性能 本章节适用于MRS 3.3.1及以后版本。 HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优,可以分为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计: 建表时尽量按照频繁使用的过滤条件字段进行分区。
复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问普通模式集群Hive。
服务器成功处理了部分GET请求。 300 Multiple Choices 多种选择。请求的资源可包括多个位置,相应可返回一个资源特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。
逻辑运算符 逻辑运算符 操作 描述 例子 AND 两个值都为true,则为true a AND b OR 两个值其中一个为true,则为true a OR b NOT 值为false,结果则为true NOT a 以下真值表反映了AND和OR如何处理NULL值: a b a AND
统计Yarn每种操作类型对应的操作数及占比。 队列中任务资源使用排序 在界面上选择某个队列(租户)后,显示在该队列中正在运行任务的消耗资源排序。 可选择“按内存”或“按CPU”观察。 队列中用户资源使用排序 在界面上选择某个队列(租户)后,显示在该队列中正在运行任务的用户消耗的资源排序。 可选择“按内存”或“按CPU”观察。
执行以下命令,进行用户认证。 kinit 组件业务用户 使用“kafka-acl.sh”进行用户授权常用命令如下。 查看某Topic权限控制列表: ./kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeepe
为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组(无穷)元素的集合,流上的每个元素都属于同一个schema;每个
Hive应用开发常用概念 客户端 客户端直接面向用户,可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language,类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层
当前通过ELB访问ClickHouse支持的协议和端口请参考表2,请根据实际使用场景选择配置。 表2 通过ELB访问ClickHouse支持的协议和端口列表 协议 端口 场景描述 TCP 9000 通过客户端请求到ELB连接ClickHouse场景时配置。例如使用clickhouse clie
Python3开发环境的基本配置,版本如47.3.1。 jaydebeapi Python3开发环境的基本配置,可以通过该模块使用Java的JDBC来连接数据库。 准备运行环境 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平
在“CDLService UI”右侧,单击链接,访问CDLService WebUI。 CDL WebUI界面支持以下功能: 驱动管理:可以上传、查看和删除连接数据库对应的驱动文件。 连接管理:可以新建、查看、编辑和删除数据连接。 作业管理:使用作业管理可以新建、查看、启动、暂停、恢复、停止、重启、删除和编辑作业等。
Hive应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Hive相关样例工程:
注册UDF 构建Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”,