检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 如果需要获取key的值，则可以通过在Flink中设置主键获取，主键字段即对应Redis的key。 如果定义主键，则不能够定义复合主键
dli_queue：队列 dli_elastic_resource_pool：弹性资源池 dli_enhanced_datasource：增强型跨源连接 dli_database：数据库 dli_package_resource：资源包（不支持指定有Module ID的内置资源包） dli_flink_job：Flink作业
EXISTS] function_name AS identifier [LANGUAGE JAVA|SCALA] 功能描述 创建一个用户自定义函数 语法说明 IF NOT EXISTS 若该函数已经存在，则不会进行任何操作。 LANGUAGE JAVA|SCALA Language
墓碑消息（在键上删除）。因此，如果该字段可能具有 null 值，我们建议避免使用 upsert-kafka 连接器和 raw format 作为 value.format。 Raw format 连接器是内置的。更多具体使用可参考开源社区文档：Raw Format。 支持的Connector Kafka
命令功能 OPTIMIZE命令用于优化数据在存储中的布局，提高查询速度。 注意事项 由于Optimize是一项耗时的活动，因此需要根据更好的最终用户查询性能与优化计算时间之间的权衡来确定运行Optimized的频率。 分区表优化需要设置参数spark.sql.forcePartitio
'datagen' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器，这里是'datagen'。 rows-per-second 否 10000 Long 每秒生成的行数，用以控制数据发出速率。 fields
Maven工程的pom.xml文件配置请参考JAVA样例代码（Flink 1.12）中“pom文件配置”说明。 确保本地编译环境可以正常访问公网。 约束与限制 需要在DLI控制台下“全局配置 > 服务授权”开启Tenant Adminstrator（全局服务）。 写入数据到OBS的桶必须为主账号下所创建的OBS桶。
select * from hudiSource; 该作业提交后，作业状态变成“运行中”，后续您可通过如下操作查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多 > FlinkUI”。 在FlinkUI界面，选择“Task
风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 创建的HBase结果表的列簇必须定义为ROW类型，字段名对应列簇名（column family），嵌套的字段名对应列限定符名（column
of Object 有权限使用该队列的用户及其对应的权限数组。 具体参数请参考表4。 count 否 Long 用户的总个数。 表4 privileges参数 参数名称 是否必选 参数类型 说明 is_admin 否 Boolean 判断用户是否为管理员。示例值：false。 user_name
EXISTS] function_name AS identifier [LANGUAGE JAVA|SCALA] 功能描述 创建一个用户自定义函数。 如果您需要了解创建自定义函数的步骤请参考自定义函数。 语法说明 IF NOT EXISTS 若该函数已经存在，则不会进行任何操作。
购买了套餐包时，按需使用过程中优先抵扣套餐包的额度，超过额度的使用量按照按需计费。 套餐包需结合重置周期使用，如重置周期为月，且按订购周期重置，即如果用户1月5日订购套餐包资源，之后每个月的5日同一时间重置套餐包资源。 父主题： 计费相关问题
自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Spark镜像。关于如何使用自定义镜像，请参考《数据湖探索用户指南》。 req_body 否 String 请求参数详情。
SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面，单击选择所需的SDK链接，即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包，解压后目录结构如下： 表1 目录结构 名称 说明
在作业列表中，单击对应的作业名称，然后在“运行日志”页签，可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink SQL作业或者Flink Jar作业，请参考《数据湖探索用户指南》。 父主题： Flink作业咨询类
批处理作业的创建时间。是单位为“毫秒”的时间戳。 name 否 String 批处理作业名称。 owner 否 String 批处理作业所属用户。 proxyUser 否 String 批处理作业所属代理用户（资源租户）。 kind 否 String 批处理作业类型，只支持spark类型参数。 queue 否 String
* 200) ELSE 0 END ) a GROUP BY a.Key; JOIN数据倾斜解决方案 登录数据湖探索管理控制台，选择“SQL作业”，在要修改的作业所在行的“操作”列，单击“编辑”进入SQL编辑器界面。 在SQL编辑器界面，单击“
Flink SQL 系统中。在许多情况下，这对于利用此功能很有用。 例如： 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE 消息编码为 Maxwell
导入作业时，导入的数据是否包括列名。 delimiter 否 String 导入作业时，用户自定义数据分隔符。 quote_char 否 String 导入作业时，用户自定义引用字符。 escape_char 否 String 导入作业时，用户自定义转义字符。 date_format 否 String 导入作业时，指定表的日期格式。
CREATE TABLE `di_seller_task_activity_30d`(`user_id` STRING COMMENT '用户ID') SORTED as parquet LOCATION 'obs://akc-bigdata/akdc.db/di_seller_task_activity_30d'
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
