检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI队列不支持访问公网。 队列扩缩容 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 新创建的队列需要运行作业后才可进行扩缩容。 创建队列步骤 创建队列的操作入口有三个,分别在“总览”页面、“SQL编辑器”页面和“队列管理”页面。 单击总览页面右上角“购买队列”进行创建队列。
到OBS桶中 DLI Flink作业提交或运行失败时,对应生成的作业日志保存方式,包含以下三种情况: 提交失败,只会在submit-client下生成提交日志。 运行失败且在1分钟内的日志,可以直接在管理控制台页面查看,具体如下: 在“作业管理”>“Flink作业”页面,单击对应
15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。 使用DEW管理数据源访问凭证时,您还需要创建DLI云服务委托授予DLI访问其他服务(DEW)读取访问凭证。 SQL作业、Flink
如果您想通过Spark Jar作业访问其他数据源,请参考《使用Spark作业跨源访问数据源》。 如果您想通过Spark Jar作业在DLI创建数据库和表,请参考《使用Spark作业访问DLI元数据》。 完整样例代码参考 认证用的access.key和secret.key硬编码到代码中或者明文存储都有
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中? 在Flink 作业中,可以使用CREATE语句来定义Source表和Sink表,并指定它们的连接器类型以及相关的属性。 如果需要将数据写入到不同的Elasticsearch集群,您需要为每个集群配置不
该API只能查看前1000条的结果记录,且不支持分页查询。若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/jobs/{job_id}/preview 参数说明 表1
tor。 更多Flink 1.15版本的优势请参考Flink 1.15升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.15版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。
单击需导出数据对应数据库名称,进入该数据库“表管理”页面。 单击目标表“操作”栏中的“更多”,选择“表属性”,即可在“元数据”页签查看该表的元数据信息。 在“SQL编辑器”页面查看元数据。 在管理控制台左侧,单击“SQL编辑器”。 在“SQL编辑器”页面的左侧导航栏中,选择“数据库”页签。 单击对应数据库名,进入该数据库的表列表。
大数据生态无缝融合,实现海量数据秒级交互式查询,并支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine对Hudi仅支持select操作,即支持SELECT语法来查询Hudi表中的数据。 HetuEngine暂不支持查询Hudi的增量视图。 详细语法说明请参考《HetuEngine
k 2.4.x升级至Spark 3.3.1对数据表的版本有影响吗? 不需要,Spark 2.4.x的SQL队列支持V1表和V2表,因此升级Spark版本只需要考虑Spark版本对SQL语法的兼容性。 示例2:使用通用队列,将Spark版本从Spark 2.4.x升级至Spark 3
elArts访问授权。新建的委托中需包含IAM的授予向云服务传递委托的权限,权限策略请参考步骤5:创建DLI自定义委托用于访问Notebook实例。 在DLI弹性资源池页面预置创建Notebook实例相关的DLI资源信息。 登录DLI管理控制台,进入弹性资源池列表页面。 选择步骤
全局变量的使用中,一个子账号是否可以使用其他子账号创建的全局变量 全局变量可用于简化复杂参数。例如,可替换长难复杂变量,提升SQL语句可读性。 全局变量的使用具有以下约束限制: 存量敏感变量只有创建用户才能使用,其余普通全局变量同账号同项目下的用户共用。 如果同账号同项目下存在多
导入数据至OBS DLI支持在不迁移数据的情况下,直接访问OBS中存储的数据进行查询分析。 您只需将本地数据导入OBS即可开始使用DLI进行数据分析。 导入数据的具体操作请参考上传对象。 迁移数据至DLI 为了将分散在不同系统中的数据迁移到DLI,确保数据可以在DLI集中分析和管理
为什么DLI增强型跨源连接要创建对等连接? DLI增强型跨源连接创建对等连接的主要原因是为了实现DLI与不同VPC中的数据源之间的网络连通。 当DLI需要访问外部数据源,而这些数据源位于不同的VPC中时,由于网络隔离,DLI默认无法直接读取这些数据源的数据。通过创建增强型跨源连接,可以采用对等连接
单击右上角“启动”,进入“启动Flink作业”页面,确认作业规格和费用,单击“立即启动”,启动作业,系统将自动跳转到Flink作业管理页面,新创建的作业将显示在作业列表中,在“状态”列中可以查看作业状态。 作业提交成功后,状态将由“提交中”变为“运行中”。运行完成后显示“已完成”。 如果作
委托:请选择步骤4:创建自定义委托允许DLI访问DEW读取凭证创建的委托,用于访问DEW中存储的凭证。 其他参数请参考创建Spark作业中关于Spark作业编辑页面的说明。 单击Spark作业编辑页面右上方“执行”,阅读并同意隐私协议,单击“确定”。提交作业,页面显示“作业提交成功”。 (可选
使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略,确保策略中包含了允许DLI服务进行必要操作的授权信息。 确保没有任何策略明确拒绝了DLI服务对桶的访问。IAM策略是优先考虑拒绝(deny)权限的,即使有允许(allow)权限,如果有拒绝权限存在,也会导致授权失败。
则会将该字段中的每个元素进行处理。当是fields时,会将该map或array类型的字段值直接作为一个redis中的一个value。 而当是array或者map时,会将array中的每个值作为redis中的一个value,会将map中该字段的value作为redis中的value
则会将该字段中的每个元素进行处理。当是fields时,会将该map或array类型的字段值直接作为一个redis中的一个value。 而当是array或者map时,会将array中的每个值作为redis中的一个value,会将map中该字段的value作为redis中的value
在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办? 问题现象 Flink SQL作业创建表时,表名使用EL表达式,运行作业时报如下错误: DLI.0005: AnalysisException: t_user_message_input_#{