检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
] 描述 使用LIKE子句可以在一个新表中包含一个已存在的表所有的列定义。可以使用多个LIKE来复制多个表的列。 如果使用了INCLUDING PROPERTIES,表的所有属性也会被复制到新表,该选项最多只能对一个表生效。 对于从表中复制过来的属性,可以使用WITH子句指定属性名进行修改。
在Linux环境中调测Hive JDBC样例程序 Hive JDBC应用程序支持在安装Hive客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive客户端。 当客户端所在主机不是集群中的节点时,需要在客
Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学习、持续计算和分布式ETL等,易扩展、支持容错,可确保数据得到处理,易于构建和操控。
在Linux环境中调测Hive JDBC样例程序 Hive JDBC应用程序支持在安装Hive客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive客户端。 当客户端所在主机不是集群中的节点时,需要在客
的包周期集群,可使用该指导进行操作。 集群状态为“运行中”或“停止中”时,可以进行转包周期操作。 转换MRS按需集群为包周期集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要转包周期的集群对应的“操作”列中,单击“转包周期”。 确定转包周期集群信息,并单击“是”。
数据查询概率较小的情况,可以创建历史分区(比如年分区,月分区),将所有历史数据放到对应分区里。 创建历史分区方式为:FROM ("2000-01-01") TO ("2022-01-01") INTERVAL 1 YEAR 1千万~2亿以内数据为了方便可以不设置分区(Doris内
请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 HetuEngine提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个HetuEngine工程。 导入并配置HetuEngine样例工程 准备安全认证 如果使用的是安全集群,需要进行安全认证。
装了Ranger服务的普通集群,Ranger可以支持基于OS用户进行组件资源的权限控制。 Ranger鉴权的具体策略请参见鉴权策略。 OBS存算分离细粒度鉴权 对于OBS存算分离集群,如果您想对OBS上的资源进行细粒度的权限控制,可以通过MRS提供的基于IAM委托的细粒度权限控制
COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS,但是不会直接影响旧的数据。所以对历史的segments的查询性能不会受到影响,因为历史的segments不是按照新的SORT_COLUMNS。 不支持UNSET命令,但是可以使用set SORT_COL
开发Manager应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 在本地开发环境中调测Manager应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 查看Manager应用调测结果 父主题: Manager管理开发指南
在Linux中调测JDBC样例程序 Hive JDBC应用程序支持在安装Hive客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的
在安装集群时,系统将自动为omm用户生成ssh认证私钥和公钥,用来建立节点间的互信。在集群安装成功后,如果原始私钥不慎意外泄露或者需要使用新的密钥时,系统管理员可以通过以下操作手动更改密钥值。 该章节仅适用于MRS 3.x及之后版本。 前提条件 已停止集群。 修改时禁止同时进行其他管理类操作。 更新omm用户ssh密钥
结果分析: 通过这个接口,可以查询当前集群中Yarn上的任务,并且可以得到如下表1。 表1 常用信息 参数 参数描述 user 运行这个任务的用户。 applicationType 例如MAPREDUCE或者SPARK等。 finalStatus 可以知道任务是成功还是失败。 elapsedTime
在Topic Summary页面的下方“Partition Information”中确认partition数量。 图10 Partition Information (可选)若对分配的分区不满意,可以执行Partition的重新分配功能来重新自动分配分区。 在Topic Summary页面单击“Generate
"template_type" : "clusterFusion", "image_id" : "ECS:X86:deda7c89-6069-46d3-af7c-4afc31eec0d9,ECS:ARM:d5f0087b-9fd7-4977-b9c8-d07262f452d6,BMS:
配置项“spark.event.listener.logRate”,该配置项的单位为毫秒。 启动应用,可以发现如下的日志信息(消费者速率、生产者速率、当前队列中的消息数量和队列中消息数量的最大值)。 INFO LiveListenerBus: [SparkListenerBus]:16044
配置项“spark.event.listener.logRate”,该配置项的单位为毫秒。 启动应用,可以发现如下的日志信息(消费者速率、生产者速率、当前队列中的消息数量和队列中消息数量的最大值)。 INFO LiveListenerBus: [SparkListenerBus]:16044
用户任务。TaskManager可以有多个,各个TaskManager都平等。 JobManager Flink系统的管理节点,管理所有的TaskManager,并决策用户任务在哪些Taskmanager执行。JobManager在HA模式下可以有多个,但只有一个主JobManager。
default:本地表所在库名。 my_table_local:本地表名。 rand():可选参数,分片键(sharding key),可以是表中一列的原始数据(如did),也可以是函数调用的结果。 如轮训方式:rand(),表示在写入数据时直接将数据插入到分布式表,分布式表引擎会按轮训算法将数据发送到各个分片。
sbin/status-oms.sh 回显信息中“HAActive”参数值为“active”的节点为主管理节点(如下例中“mgtomsdat-sh-3-01-1”为主管理节点),参数值为“standby”的节点为备管理节点(如下例中“mgtomsdat-sh-3-01-2”为备管理节点)。