检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“执行”，运行结果如图4所示： 图4 查询结果 单击“结果图形化”，对结果进行图形展示： 图5 结果图形化 此外，还可以分析用户的年龄分布、性别比例、商品评价情况、购买情况、浏览情况等。 父主题： 数据分析
表示队列正在缩容中。 系统不保证完全缩容到设定的目标大小。如果当前队列正在使用或者队列业务量比较大，会出现缩容不成功，或者缩容一部分规格的情况。 系统默认最小CU值为16CU。即当队列规格为16CUs时，不能进行手动缩容。 操作步骤如下： 在DLI管理控制台左侧，选择“资源管理 >
业日志信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 作业异常告警 设置是否将作业异常告警信息，如作业出现运行异常或者欠费情况，以SMN的方式通知用户。 勾选后需配置下列参数： “SMN主题”： 选择一个自定义的SMN主题。如何自定义SMN主题，请参见《消息通知服务用户指南》中“创建主题”章节。
志。 数据类型的使用，请参考Format章节。 Upsert Kafka始终以upsert方式工作，并且需要在 DDL 中定义主键。 默认情况下，如果启用checkpoint，Upsert Kafka sink会保证至少一次将数据插入Kafka topic。这意味着，Flink可
志。 数据类型的使用，请参考Format章节。 Upsert Kafka始终以upsert方式工作，并且需要在 DDL 中定义主键。 默认情况下，如果启用checkpoint，Upsert Kafka sink会保证至少一次将数据插入Kafka topic。这意味着，Flink可
compositeType.* 返回 Flink 复合类型（例如，Tuple，POJO）的平面表示，将其每个直接子类型转换为单独的字段。在大多数情况下，平面表示 的字段与原始字段的命名类似，但使用 $ 分隔符（例如 mypojo$mytuple$f0）。 父主题： 内置函数
单击“确定”，完成作业的删除。 导出作业 用户可以将所创建的Flink作业导出至OBS桶中。 适用于当用户切换区域、项目或用户时，需要创建相同的作业，而作业比较多的情况。此时，不需要重新创建作业，只需要将原有的作业导出，再在新的区域、项目或者使用新的用户登录后，导入作业即可。 切换项目或用户时，需要对新项
已取消作业数 展示用户队列中状态为已取消的作业数。 ≥0 队列 5分钟 queue_alloc_cu_num 队列CU分配量 展示用户队列的CU分配情况。 ≥0 队列 5分钟 queue_min_cu_num 队列最小CU 展示用户队列中的最小CU。 ≥0 队列 5分钟 queue_max_cu_num
correlated.scalar.query.enabled false 该参数设置为true： 当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据重复的情况下，执行关联子查询，会提示异常，必须对子查询的结果做去重处理，比如max(),min()。 该参数设置为false：
存储套餐的额度每个小时会重置。 判断套餐包额度是否超出 如果当月使用量超出已购买套餐包的额度，超出部分将自动转为按需计费。怎样查看套餐包资源的使用情况？ 如果套餐包额度已超出，产生按需计费为正常现象；如果套餐包额度未超出，请继续排查判断是否产生了套餐包未涵盖的计费项。 判断是否产生了套餐包未涵盖的计费项
如果为false，则表示输出数据到taskmanager的out中。 sink.parallelism 否 无 Integer 为Print结果表定义并行度。默认情况下，并行度由框架决定，与上游并行度一致。 示例 参考创建Flink OpenSource作业，创建flink opensource sql
源池CU的变化，部分情况下系统无法保证按计划扩容/缩容至目标CUs： 弹性资源池扩容时，可能会由于物理资源不足导致弹性资源池无法扩容到设定的目标大小。 弹性资源池缩容时，系统不保证将队列资源完全缩容到设定的目标大小。 在执行缩容任务时，系统会先检查资源使用情况，判断是否存在缩容空
否，默认根据regionName自动拼接 - 终端节点，具体区域请参考地区和终端节点。 directfetchthreshold 否 1000 请您根据业务情况判断返回结果数是否超过设置的阈值。 默认阈值1000。 创建Statement对象，设置相关参数并提交Spark SQL到DLI服务。 Statement
限授权。 开启Checkpoint：勾选。 Flink作业编辑框中输入具体的作业SQL，本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。 本示例使用的Flink版本为1.12，故Flink OpenSource SQL语法也是1.12。本示例数据源是Kafka，写入结果数据到Elasticsearch。
exactly-once none sink.parallelism 否 无 Integer 定义Kafka sink算子的并行度。 默认情况下，由框架确定并行度，与上游链接算子的并行度保持一致。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL
exactly-once none sink.parallelism 否 无 Integer 定义Kafka sink算子的并行度。 默认情况下，由框架确定并行度，与上游链接算子的并行度保持一致。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL
DLI的套餐包中仅存储套餐包按自然周期重置，即每小时重置，其他套餐包按订购周期重置。 适用场景 通常情况下，建议您针对不同的业务创建项目： 开发项目：在此项目下，大多是工程师开发调试时使用，作业随机性大，数据量小。针对这种情况，建议您使用按CU时计费模式，能够帮您有效控制成本，将资源消耗控制在一定范围内
详情 支持表类型 结果表 前提条件 该场景作业需要运行在DLI的独享队列上。 该场景需要与ClickHouse建立增强型跨源连接，并根据实际情况设置ClickHouse集群所在安全组规则中的端口。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置
数。 key.fields-prefix 否 无 String 为键格式的所有字段定义自定义前缀，以避免与值格式的字段发生名称冲突。 默认情况下，前缀为空。如果定义了自定义前缀，则表架构和'key.fields'都将使用前缀名称。在构造密钥格式的数据类型时，将删除前缀，并在密钥格
包到镜像中，生成自定义镜像。 将镜像发布到SWR（容器镜像服务）中。 在DLI服务作业编辑页面选择自己生成的镜像，运行作业。 查看作业执行情况。 获取DLI基础镜像 表1 获取DLI基础镜像 镜像类型 架构 URL general镜像 X86 swr.cn-north-4.myhuaweicloud
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
