检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JAVA 或者 SCALA ，则 identifier 是 UDF 实现类的全限定名。 如果您需要了解创建自定义函数的步骤请参考自定义函数。 语法定义 CREATE [TEMPORARY|TEMPORARY SYSTEM] FUNCTION [IF NOT EXISTS] [[catalog_name
checkpoint间隔设置需在输出文件实时性、文件大小和恢复时长之间进行权衡，比如10分钟。 使用HDFS时需要绑定相应的跨源，并填写相应的主机信息。 使用hdfs时，请配置主NameNode的所在节点信息。 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 固定为filesystem。
LITERAL 的时候，指定字符串常量替换 Map 中的空 key 值。 支持的Connector Kafka 示例 使用kafka发送数据，输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放
SDK前，确保您已经完成开发环境的基本配置。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。 在Java运行环境配置好的情况下，打开windows的命令行，执行命令Java -version，可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1
上述报错可能原因是当前导入的文件数据量较大，同时因为spark.sql.shuffle.partitions参数设置的并行度过大，导致缓存区大小不够而导入数据报错。 解决方案 建议可以尝试调小spark.sql.shuffle.partitions参数值来解决缓冲区不足问题。具体该参数设置步骤如下：
怎样将OBS表映射为DLI的分区表？ 场景概述 用户使用Flink SQL作业时，需要创建OBS分区表，用于后续进行批处理。 操作步骤 该示例将car_info数据，以day字段为分区字段，parquet为编码格式，转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。
在作业运行界面勾选“保存作业日志”，在“OBS桶”参数选择存储运行日志的OBS桶。单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。 在Flink作业列表单击对应作业名称，进入作业详情页面，选择“运行日志”页签。 单击OBS桶，获取对应作业的完整运行日志。 图2 查看运行日志 下载最新“jobmanager
查询源表数据，发现导致问题产生的记录ctr值为1675，整数位（4位）超出所定义的decimal精度（9 – 6 = 3位），导致double转decimal时overflow产生null值，而对应dws表字段为非空导致插入失败。 处理步骤 修改目的表所定义的decimal精度即可解决。
TE BY 1”，可以将多个task生成的多个文件汇总为一个文件。 操作步骤 在管理控制台检查对应SQL作业详情中的“结果条数”是否正确。 检查发现读取的数据量是正确的。 图1 检查读取的数据量 确认客户验证数据量的方式是否正确。客户验证的方式如下： 通过OBS下载数据文件。 通
在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个Spark作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。 Spark 2.4
common frames omitted 原因分析 Flink jar包冲突。用户提交的flink jar 与 DLI 集群中的hdfs jar包存在冲突。 处理步骤 1. 将用户pom文件中的的hadoop-hdfs设置为： <dependency> <groupId>org
example.com/v3/projects" } } 从控制台获取项目ID 从控制台获取项目ID的步骤如下： 登录管理控制台。 鼠标悬停在右上角的用户名，选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题： 公共参数
网配置。客户的DWS子网关联了网络ACL。网络ACL是一个子网级别的可选安全层，通过与子网关联的出方向/入方向规则控制出入子网的数据流。关联子网后，网络ACL默认拒绝所有出入子网的流量，直至添加放通规则。通过检查，发现其DWS所在子网关联的ACL是空值。 因此，问题的原因是：客户
wkey指定的字段只有一个的时候，该字段的类型可以是支持的所有数据类型，并且不需要填写长度。 在组合Rowkey的场景中 插入Rowkey数据时，如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要短，则会在数据后面补'\0'字符；如果某个属性的实际数据的长度比属性作
Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。
确认短信的手机号码。 如果选择“邮件”协议，需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息，请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后，将收到“订阅成功”的信息。 在消息通知服务的“订阅”页面，对应的订阅状态为“已确认”，表示订阅成功。
参考增强型跨源连接，根据PostgreSQL所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置PostgreSQL的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据PostgreSQL的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。
在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板，您可以按需选择自定义模板或系统模板创建SQL作业。 本样例演示通过一个TPC-H样例模板开发并提交SQL作业的基本流程： 操作步骤 登录DLI管理控制台。
DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下： 在OBS服务控制台页面左侧选择“并行文件系统”，单击对应的文件系统名称。 在“基础配置
参考操作步骤说明，编写UDF函数代码。 2 编写UDF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
