检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kudu应用程序开发思路 通过典型场景,可以快速学习和掌握Kudu的开发过程,并对关键的接口函数有所了解。 开发思路 作为存储引擎,通常情况下会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据; 于此同
访问特定子项目中资源,使得资源的权限控制更加精确。 图1 项目隔离模型 同样在我的凭证下,您可以查看项目ID。 企业项目 企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中可以包含多个区域的资源,且项目中的资源可以迁入迁出。 关于企业项目ID的获取
进程运行异常日志。 supervisor.log 进程启动日志。 supervisor.out.log 进程启动异常日志。 dbDetail.log 数据库初始化日志 initSecurityDetail.log keytab文件下载初始化日志。 postinstallDetail.log Hue服务安装后工作日志。
在“CDLService UI”右侧,单击链接,访问CDLService WebUI。 CDL WebUI界面支持以下功能: 驱动管理:可以上传、查看和删除连接数据库对应的驱动文件。 连接管理:可以新建、查看、编辑和删除数据连接。 作业管理:使用作业管理可以新建、查看、启动、暂停、恢复、停止、重启、删除和编辑作业等。
所有表的附加属性都会放到TBLPROPERTIES中来定义。 参数描述 表1 CREATE TABLE参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。 col_name data_type 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线(_)组成。
所有表的附加属性都会放到TBLPROPERTIES中来定义。 参数描述 表1 CREATE TABLE参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。 col_name data_type 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线(_)组成。
HDFS、Yarn、Kafka、Hive、HBase、Storm、Spark2x、Impala、HetuEngine、CDL。 从历史版本升级的集群,用户访问组件资源时默认不使用Ranger鉴权,管理员可在安装了Ranger服务后手动启用Ranger鉴权。 安全版本的集群所有组件
/user/exampleUser/ exampleUser为提交任务的用户名。 在提交任务的用户和非job.properties文件均无变更的前提下,客户端安装目录/Oozie/oozie-client-*/examples目录一经上传HDFS,后续可重复使用,无需多次提交。
在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse Scope”,勾选对应数据库的创建权限。单击对应的数据库名称,根据不同任务场景,勾选对应表的“读”、“写”权限,单击“确定”保存。 IoTDB 1. 在“配置资源权限”的表格中选择“待操作集群的名称
</property> 执行以下命令创建Hive表。 可以在Hue WebUI中Hive面板直接输入以下SQL创建表。 CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`.`usr` (user_id int comment
在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse Scope”,勾选对应数据库的创建权限。单击对应的数据库名称,根据不同任务场景,勾选对应表的“读”、“写”权限,单击“确定”保存。 单击“系统 > 权限 > 用户组 > 添加用户组
examples.KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} JAR_PATH为程序jar包所在路径; BrokerList格式为brokerIp:9092; 若用户需要对接安
使用presto客户端或jdbc、UI工具连接Presto服务,执行命令show schemas from myhive; 可以看到目标集群上的database即为配置成功。 父主题: Presto常见问题
为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组(无穷)元素的集合,流上的每个元素都属于同一个schema;每个
ython定义的代码)发送到Executor上。 所有的Task执行完成后,用户的应用程序运行结束。 图1 Spark应用运行架构 约束与限制 本实践仅适用于MRS 3.x及之后版本,且在集群外客户端节点中安装Python3。 操作流程 本实践基本操作流程如下所示: 步骤1:在MRS集群外节点安装客户端
基于分布式计算框架进行数据任务执行和数据传输优化,并针对特定数据源写入做了专项优化,迁移效率高。 实时监控:迁移过程中可以执行自动实时监控、告警和通知操作。 约束与限制 搬迁数据量较大时,对网络通信要求较高,执行搬迁任务时,可能会影响其他业务,建议在业务空闲期进行数据迁移任务。 步骤1:新建数据连接 登录CDM管理控制台。
UnprocessableEntity 请求格式正确,但是由于含有语义错误,无法响应。 429 TooManyRequests 表明请求超出了客户端访问频率的限制或者服务端接收到多于它能处理的请求。建议客户端读取相应的Retry-After首部,然后等待该首部指出的时间后再重试。 500 InternalServerError
version 1.1.0 by Apache Hive (可选)通过beeline -help命令查看关于客户端显示的设置。如下: -u <database url> the JDBC URL to connect to -n <username>
mutations system.processes system.metrics system.part_moves_between_shards system.replicas system.replicated_fetches system.replication_queue 一键转储系统表日志
17:58:22.820 INFO 20556 --- [ main] o.apache.catalina.core.StandardService : Starting service [Tomcat] 2023-02-06 17:58:22.821 INFO 20556