检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？ 如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 Spark jar 如何读取上传文件 添加Python包后，找不到指定的Python环境 为什么Spark
创建Flink Jar作业并运行。 创建Flink Jar作业，在应用程序、其他依赖文件选择步骤3导入Flink Jar，并指定主类。 主要参数的填写说明： 所属队列：选择Flink Jar作业运行的队列。 应用程序：自定义的程序包 主类：指定 类名：输入类名并确定类参数列表（参数间用空格分隔）。
计费模式：选择“包年/包月”或“按需计费”。本示例选择“按需计费”。 区域和项目：保持默认值即可。 名称：填写具体的队列名称。 新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型
spark.sql(sql).show() } spark.close() } } Python样例代码 #!/usr/bin/python # -*- coding: UTF-8 -*- from __future__ import print_function
'mysql-cdc', 'hostname' = '192.168.12.148',--IP替换为RDS MySQL的实例IP 'port' = '3306',--端口替换为RDS MySQL的实例端口 'pwd_auth_name'= 'xxxxx', --DLI
选择需导入的作业配置文件的完整OBS路径。单击“下一步”。 配置同名作业策略。单击“下一步”。 勾选“配置同名替换”，如果待导入的作业名已存在，则覆盖已存在的作业配置，并且作业状态重置为草稿。 不勾选“配置同名替换”，如果待导入的作业名已存在，则不导入同名作业的配置。 确认“配置文件”和“同名作业策略
VIEW：基于给定的select语句创建视图，不会将select语句的结果写入磁盘。 OR REPLACE：指定该关键字后，若视图已经存在将不报错，并根据select语句更新视图的定义。 注意事项 所要创建的视图必须是当前数据库下不存在的，否则会报错。当视图存在时，可通过增加OR REPLACE关键字来避免报错。
Spark应用的Driver内存，参数配置例如2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必需带单位，否则会启动失败。 driverCores Integer Spark应用Driver的CPU核数。该配置项会替换sc_type中对应的默认参数。 executorMemory
新建Maven工程，配置pom文件 IntelliJ IDEA 参考操作步骤说明，编写UDF函数代码。 2 编写UDF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台
及之后匹配pattern的子串，全都替换成指定字符串replace_string后，返回结果字符 适用于Spark3.3.1：用于将source字符串中第occurrence次匹配pattern的子串，以及之后匹配pattern的子串，全都替换成指定字符串replace_string后，返回结果字符
提交SQL作业时，返回“unsupported media Type”信息 创建SQL作业的API执行超过时间限制，运行超时报错 API接口返回的中文字符为乱码，如何解决？
opensource sql作业，运行如下作业脚本，通过DataGen表产生随机数据并输出到Print结果表中。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 create table
基本概念 账号 用户注册华为账号并开通华为云。账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户
用优化的空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤： 步骤1：获取消费数据。获取账户的实际消费数据。 步骤2：分析账户消费结构并优化。在DLI上分析账户消费结构，找出开支较大的资源或用户，并给出降底成本的优化措施。
所有算子反压都正常（绿色），但存在数据堆积 该场景说明性能瓶颈点在Source，主要是受数据读取速度影响，此时可以通过增加Kafka分区数并增加source并发解决。 作业一个算子反压高（红色），而其后续的多个并行算子都不存在反压（绿色） 该场景说明性能瓶颈在Vertex2或者V
计费模式：选择“包年/包月”或“按需计费”。本例选择“按需计费”。 区域和项目：保持默认值即可。 名称：填写具体的队列名称。 新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型
自研SDK的使用方法。相关开发包请从华为云DLI 开发工具包（SDK）获取。 Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK DLI SDK调用接口使用https进行访问，有服务端使用证书。
Jar包名J2。 新创建的自定义函数F2立即生效 无影响。 如果创建自定义函数携带OR REPLACE，表示需要对已有的函数内容进行功能替换并实时生效。 该功能开启当前需要提交工单开通白名单。 如果要在所有SQL队列上立即生效，需要分别选择SQL队列执行一遍：CREATE OR REPLACE
[asc|desc]...]: 指定排序列，不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中， N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where
[asc|desc]...]: 指定排序列，不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中， N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
