检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建FlinkServer作业写入数据至Kafka消息队列 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义,以及创建表时使用的WITH参数和代码示例,并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
服务接口,对上层应用提供接口化的数据服务能力。数据服务能力由DataArts Studio的DLM组件提供。 JDBC直连:Doris提供标准的JDBC接口,在BI工具对接等场景中,也可以直接使用JDBC接口连接Doris进行数据查询。 离线数据集成:离线数据集成可以从数据湖中集
cardinality(array[1,2,3,4,5,6]); --6 concat(array1, array2, ..., arrayN) 描述:此函数提供与sql标准连接运算符(||)相同的功能。 combinations(array(T), n) -> array(array(T)) 描述:返回输入数组的n个元素子组。
配置Doris对接Hive数据源 通过连接Hive Metastore,或者兼容Hive Metatore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除Hive外,很多其他系统也会使用Hive Metastore存储元数据。通过Hive Catalo
除或更新JAR文件。 dfs <dfs command> 执行dfs命令。 <query string> 执行Hive查询,并将结果打印到标准输出。 父主题: 使用Hive
查询集群列表 功能介绍 查看用户创建的集群列表信息。该接口不兼容Sahara。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/cluster_infos 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
查询特定标签的集群列表 功能介绍 使用标签过滤集群。 集群默认按照创建时间倒序,集群tag也按照创建时间倒序。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/resource_instances/action
json_format和CAST(json AS VARCHAR)具有完全不同的语义。 json_format将输入JSON值序列化为遵守7159标准的JSON文本。JSON值可以是JSON对象、JSON数组、JSON字符串、JSON数字、true、false或null: SELECT json_format(JSON
图进行建模。 MRS服务的SparkSQL兼容部分Hive语法(以Hive-Test-benchmark测试集上的64个SQL语句为准)和标准SQL语法(以tpc-ds测试集上的99个SQL语句为准)。 Spark的架构和详细原理介绍,请参见:https://archive.apache
'aac', 'zq'); -- 'zbd' Unicode函数 normalize(string) → varchar 描述:返回NFC形式的标准字符串。 select normalize('e'); _col0 ------- e (1 row) normalize(string
正则表达式函数 概述 所有的正则表达式函数都使用Java样式的语法。但以下情况除外: 使用多行模式(通过(?m)标志启用)时,只有\ n被识别为行终止符。 此外,不支持(?d)标志,因此不能使用。 大小写区分模式(通过(?i)标志启用)时,总是以unicode的模式去实现。同时,
ClickHouse概述 ClickHouse表引擎介绍 表引擎在ClickHouse中的作用十分关键,不同的表引擎决定了: 数据存储和读取的位置 支持哪些查询方式 能否并发式访问数据 能不能使用索引 是否可以执行多线程请求 数据复制使用的参数 其中MergeTree和Distr
ClickHouse概述 ClickHouse表引擎介绍 表引擎在ClickHouse中的作用十分关键,不同的表引擎决定了: 数据存储和读取的位置 支持哪些查询方式 能否并发式访问数据 能不能使用索引 是否可以执行多线程请求 数据复制使用的参数 其中MergeTree和Distr
创建CDL数据同步任务作业 操作场景 CDLService WebUI提供可视化的作业编排页面,用户可快速创建CDL作业,实现实时数据入湖。 前提条件 开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户
<directory>:用于为导出的CSV文件指定输出路径。 -tf <time-format>:用于指定时间格式,时间格式必须遵守ISO 8601标准。如果想要以时间戳方式来保存时间,需设置为-tf timestamp。例如,-tf yyyy-MM-dd\ HH:mm:ss或-tf timestamp。
FlinkServer:基于Web的作业管理二次开发平台,可直接在界面开发与管理FlinkSQL作业。具有运维管理界面化、作业开发SQL标准化等特点。 Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分: Client Flink Client主要
security.ssl.protocol SSL传输的协议版本。 TLSv1.2 是 security.ssl.algorithms 支持的SSL标准算法,具体可参考java官网:http://docs.oracle.com/javase/8/docs/technotes/guides/
数据输出的相关接口 API 说明 def print(): DataStreamSink[T] 数据输出以标准输出流打印出来。 def printToErr() 数据输出以标准error输出流打印出来。 def writeAsText(path: String): DataStreamSink[T]
数据输出的相关接口 API 说明 def print(): DataStreamSink[T] 数据输出以标准输出流打印出来。 def printToErr() 数据输出以标准error输出流打印出来。 def writeAsText(path: String): DataStreamSink[T]
数据输出的相关接口 API 说明 def print(): DataStreamSink[T] 数据输出以标准输出流打印出来。 def printToErr() 数据输出以标准error输出流打印出来。 def writeAsText(path: String): DataStreamSink[T]