检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨源访问MRS HBase,连接超时,日志未打印错误怎么办? 用户在跨源连接中没有添加集群主机信息,导致KRB认证失败,故连接超时,日志也未打印错误。 建议您重新配置主机信息后再重试访问MRS HBase。 在“增强型跨源”页面,单击该连接“操作”列中的“修改主机信息”,在弹出的对话框中,填写主机信息。
Spark作业运行大批量数据时上报作业运行超时异常错误 当Spark作业运行大批量数据时,如果出现作业运行超时异常错误,通常是由于作业的资源配置不足、数据倾斜、网络问题或任务过多导致的。 解决方案: 设置并发数:通过设置合适的并发数,可以启动多任务并行运行,从而提高作业的处理能力。
JOIN:只显示参与连接的表中满足JOIN条件的记录。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接,来查看学生姓名及所选课程名称。
TABLE关键字说明 参数 描述 url DWS的连接地址,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,可以使用DWS提供的"JDBC连接字符串(内网)",或者内网地址和内网端口访问,格
to refresh. 问题根因 API以同步模式调用运行时会有两分钟的超时时间限制,如果API调用超过该时间限制则会超时报错。 解决方案 调用“提交SQL作业”API时可以通过设置“dli.sql.sqlasync.enabled”参数为“true”来异步运行该作业。 具体可以参考提交SQL作业API。
创建增强型跨源连接 功能介绍 该API用于创建与其他服务的增强型跨源连接。 如果需要了解Console界面的使用方法,可参考《数据湖探索用户指南》中的“增强型跨源连接”。 系统default队列不支持创建跨源连接。 调试 您可以在API Explorer中调试该接口。 URI URI格式
在同一队列中,如果同时使用了经典型跨源连接和增强型跨源连接,则经典型跨源连接优先于增强型跨源连接。推荐使用增强型跨源连接。 DLI提供的default队列不支持创建跨源连接。 Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。 增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。
检查增强型跨源连接对应的对等连接的路由信息 检查增强型跨源连接对应的对等连接的路由表,该路由表的本端路由地址网段是否和别的网段有重合,如果重合,路由可能转发错误。 获取增强型跨源连接创建的对等连接ID。 图8 获取对等连接ID 在VPC-对等连接控制台查看对等连接信息。 图9 查看对等连接
参数 描述 host DCS的连接IP,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建增强型跨源连接后,使用DCS提供的"连接地址"。"连接地址"有多个时,选择其中一个即可。 说明: 访问DCS目前只支持增强型跨源。 port DCS的连接端口,例如6379。 password
连接 内连接 左外连接 右外连接 全外连接 隐式连接 笛卡尔连接 左半连接 不等值连接 父主题: SELECT
该场景作业需要运行在DLI的独享队列上,因此要与Doris建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS
跨源连接DWS表 创建DLI表关联DWS 插入数据至DWS表 查询DWS表 父主题: Spark SQL语法参考(即将下线)
者生成的表信息写入Kafka结果表中,其具体步骤如下: 参考增强型跨源连接,在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组,添加入向规则使其对Flink的队列网段放
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。
JOIN:只显示参与连接的表中满足JOIN条件的记录。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接,来查看学生姓名及所选课程名称。
SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric,查询对应的DLI表会报错。 若OpenTSDB开了安全模式,则访问时,需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true 语法格式 1 SELECT * FROM table_name
在default队列执行DLI SQL失败,提示超时异常怎么办? 问题现象 使用default队列提交SQL作业,作业运行异常,排查作业日志显示Execution Timeout异常。异常日志参考如下: [ERROR] Execute DLI SQL failed. Please
功能描述 创建Redis表作为维表用于与输入流连接,从而生成相应的宽表。 前提条件 要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
功能描述 创建Redis表作为维表用于与输入流连接,从而生成相应的宽表。 前提条件 要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
创建Hbase维表用于与输入流连接生成宽表。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。