检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
_VALUE这样的函数允许在遇到错误时定义回退行为。但是宽松模式会将错误转换为空序列。 特殊字符$表示JSON路径中的根节点。路径可以访问属性（$.a）、数组元素（$.a[0].b）或数组中的所有元素（$.a[*].b）。 已知限制：当前并非所有宽松模式的特性都得到了正确的支持。
自定义委托及配置请参考自定义DLI委托权限。 使用该功能，所有涉及OBS的桶，都需要进行配置AKSK。 语法格式 在Spark Jar作业编辑界面，选择配置优化参数，配置信息如下: 不同的OBS桶，使用不同的AKSK认证信息。 可以使用如下配置方式，根据桶指定不同的AKSK信息，参数说明详见表1。
<scope>provided</scope> </dependency> 实现完成后将该类编译打包在Jar中，通过Flink OpenSource SQL作业编辑页的UDF Jar参数上传。具体Flink OpenSource SQL作业创建指导可以参考https://support.huaweicloud
如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认
shuffle.partitions=10 图5 SuperSet参数配置示例 在DLI的SQL编辑器的执行效果：Set参数会修改为注释提交到DLI侧执行。 图6 在DLI的SQL编辑器查看配置的参数 父主题： 使用BI工具连接DLI分析数据
骤使用。 DWS 在DWS管理控制台，选择“集群管理”，单击已创建的DWS集群名称，进入到DWS的基本信息页面。 在“基本信息”的“数据库属性”中获取该实例的“内网IP”、“端口”，在“网络”中获取“虚拟私有云”、“子网”和“安全组”信息，方便后续操作步骤使用。 MRS HBase
partitions=100 图7 ODBC配置参数示例（Microsoft Hive ODBC） 在DLI的SQL编辑器的执行效果： 图8 在DLI的SQL编辑器查看配置的参数 父主题： 使用BI工具连接DLI分析数据
sql.shuffle.partitions=10 图6 Tableau参数配置示例 在DLI的SQL编辑器的执行效果：Set参数会修改为注释提交到DLI侧执行。 图7 在DLI的SQL编辑器查看配置的参数 父主题： 使用BI工具连接DLI分析数据
sql.shuffle.partitions=10 图6 FineBI参数配置示例 在DLI的SQL编辑器的执行效果：Set参数会修改为注释提交到DLI侧执行。 图7 在DLI的SQL编辑器查看配置的参数 父主题： 使用BI工具连接DLI分析数据
登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 登录DLI控制台，选择“作业管理 > Spark作业”。 单击操作列“编辑”。 编辑“应用程序”，选择1上传的OBS地址。 图11 配置应用程序 Spark 3.3以下版本： 分别上传Jar包到OBS和DLI下。 登录
（可选）配置Notebook访问LakeFormation元数据 在JupyterLab中编写和调试代码。 进入JupyterLab主页后，可在“Notebook”区域下编辑和调试代码。步骤8：使用Notebook实例编写和调试代码。 约束限制 使用Notebook实例提交DLI作业必须使用弹性资源池下的通用队列。
注意事项 更多具体使用可参考开源社区文档：Apache Kafka SQL 连接器。 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认
将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 如
append模式与外部系统交换消息，不支持消费UPDATE/DELETE消息。 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认
单击“确定”，完成创建程序包。 图11 创建程序包 创建DLI的UDTF函数。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。 图12 选择队列和数据库 在SQL编辑区域输入实际上传Jar包的路径创建UDTF函数，单击“执行”提交创建。 CREATE FUNCTION
在创建队列界面，类型选择“Flink OpenSource SQL”，名称填写为：FlinkKafkaES。单击“确定”，跳转到Flink作业编辑界面。 在Flink OpenSource SQL作业编辑界面，配置如下参数，其他参数默认即可。 所属队列：选择步骤1：创建队列中创建的队列。 Flink版本：选择1.12。
其他功能按钮说明如下： 另存为：将新建作业另存为一个新作业。 相关操作 怎样设置作业的参数？ 在FLink作业列表中选择待编辑的作业。 单击操作列“编辑”。 在参数区域输入参数信息。 指定类的参数列表，参数之间使用空格分隔。 参数输入格式：--key1 value1 --key2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
