检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse 功能描述 DLI支持将Flink作业数据输出到ClickHouse数据库中,表类型仅支持结果表。 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级
存算分离场景下,DLI支持OBS在创建桶时数据冗余策略选择单AZ或者多AZ存储,两种存储策略区别如下: 选择多AZ存储,数据将冗余存储至多个AZ中,可靠性更高。选择多AZ存储的桶,数据将存储在同一区域的多个不同AZ。当某个AZ不可用时,仍然能够从其他AZ正常访问数据,适用于对可靠性要求较高的数据
使用须知 首次进入SQL编辑器,页面会提示设置DLI作业桶。该桶用于存储使用DLI服务产生的临时数据,例如:作业日志等。 如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。
Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI; 在Flink jar作业的其他依赖文件参数中,选择创建的DLI程序包; 在代码中通过ClassName
跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 集群未启用Kerberos认证(普通模式)
outputFunction(S, R)) 返回从数组减少的单个值。将按顺序为数组中的每个元素调用inputFunction。除了获取元素之外,inputFunction还获取当前状态,最初为initialState,然后返回新状态。将调用outputFunction将最终状态转换为结果值。它可能是恒等函数(i->
提交Spark作业 将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果MRS集群开启了Kerberos认证,创建Spark作业时需要将krb5.conf和user.keytab文件添加到作业的其
remote-write-url 是 无 String - AOM Prometheus通用类型的remote write url。 自定义配置url的时候url里不需要添加https://,系统会自动拼接https。 配置样例: aom-internal-access.{regionId}.xxxxx.com
DWS源表 功能描述 DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data
请创建IAM用户并授权使用DLI。具体操作请参考创建IAM用户并授权使用DLI。 首次使用DLI您需要根据控制台的引导更新DLI委托,用于将操作权限委托给DLI服务,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。该委托包含获取IAM用户相关信息、跨源场景访问和
的队列。 是,执行3。 否,执行2购买“SQL队列”类型的队列。 选择“资源管理 > 弹性资源池”,选择已购买的弹性资源池,单击操作列的“添加队列”,其中队列类型选择“SQL队列”,选择其他参数后提交创建。 在CDM侧重新配置迁移作业的DLI目的连接参数,其中资源队列”参数选择已创建的DLI“SQL队列”。
导入数据(废弃) 功能介绍 该API用于将数据从文件导入DLI或OBS表,目前仅支持将OBS上的数据导入DLI或OBS中。 当前接口已废弃,不推荐使用。 该API为异步操作。 导入数据时,可选择已存在的OBS桶路径或新建OBS桶路径,但只能指定一个OBS桶路径。 若需新建OBS桶,需遵守以下命名规则:
中的记录总数约为130K。 默认值(60000)大约是此近似值的一半。 注意: 将此值设置得太低,将产生很多误报,并且索引查找将必须扫描比其所需的更多的文件;如果将其设置得非常高,将线性增加每个数据文件的大小(每50000个条目大约4KB)。 60000 hoodie.index
I服务的其它功能。 本章节介绍创建IAM用户并授权使用DLI的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您先了解用户组可以添加的DLI权限,并结合实际需求进行选择。DLI支持的系统权限,请参见:DLI系统权限。 示例流程 图1 给用户授权DLI权限流程 创建用户组并授权
DWS源表(不推荐使用) 功能描述 DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
I参考》。获取子网网络ID接口,具体请参考《虚拟私有云API参考》。 涉及接口 创建弹性资源池:创建弹性资源池。 创建队列:在弹性资源池中添加队列。 创建增强型跨源连接:创建增强型跨源连接。 绑定队列:绑定队列。 查询增强型跨源连接:确认增强型跨源连接创建成功。 操作步骤 创建弹
CONCAT_WS(string1, string2, string3, ...) 返回将 STRING2, STRING3, … 与分隔符 STRING1 连接起来的字符串。 在要连接的字符串之间添加分隔符。 如果 STRING1 为 NULL,则返回 NULL。 与 concat()
Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where 语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink
-java-5.1.48.jar”。 返回到驱动管理界面,在驱动名称为MYSQL的操作列,单击“上传”,在“导入驱动文件”界面单击“添加文件”,将1.a.iii获取的驱动文件上传。 在驱动管理界面单击“返回”按钮回到连接管理界面,单击“新建连接”,连接器类型选择“云数据库 MySQL”,单击“下一步”。
Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where 语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink