检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
join关联维表的最新版本 功能描述 对于Hive表，我们可以将其作为有界流读出。在这种情况下，Hive表只能在查询时跟踪其最新版本。最新版本的表保留了Hive表的所有数据。 注意事项 每个连接子任务都需要保留自己的Hive表缓存。请确保Hive表可以放入TM任务槽的内存中。 建议为streaming-source
计费相关问题 DLI的计费模式有哪些？ 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗？ 数据湖队列什么情况下是空闲状态？ 怎样排查DLI计费异常？ 已购买套餐包，为什么仍然产生按需计费？ 怎样查看套餐包资源的使用情况？ 怎样查看DLI的数据扫描量？ 按需计费的弹性资源池，如果没提交作业运行就不计费？
餐包资源的使用情况？ 如果套餐包额度已超出，产生按需计费为正常现象；如果套餐包额度未超出，请继续排查判断是否产生了套餐包未涵盖的计费项。 判断是否产生了套餐包未涵盖的计费项 DLI的计费项分为计算资源计费、数据存储量计费、数据扫描量计费。 如果购买的套餐包资源未覆盖使用的计费项，产生按需计费属于正常现象：
DLI提供优惠的资源套餐包，购买套餐包后，资源按照套餐包类型计费。 套餐包是用户预先购买的资源使用量配额，超出当前套餐包的额度，将自动转为按需收费。 套餐包类型及适用场景 表1 套餐包类型及适用场景 类型 说明 适用场景 重置规则 扫描数据量套餐包 按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。
ttl时，缓存中最先添加的条目将被标记为过期。缓存中的记录可能不是最新的，用户可以将Lookup.cache.ttl设置为一个更小的值以获得更好的刷新数据，但这可能会增加发送到数据库的请求数。所以要做好吞吐量和正确性之间的平衡。 默认情况下，Flink会缓存主键的空查询结果，您可以通过将Lookup
网配置。客户的DWS子网关联了网络ACL。网络ACL是一个子网级别的可选安全层，通过与子网关联的出方向/入方向规则控制出入子网的数据流。关联子网后，网络ACL默认拒绝所有出入子网的流量，直至添加放通规则。通过检查，发现其DWS所在子网关联的ACL是空值。 因此，问题的原因是：客户
"0”表示default，即默认的企业项目。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_type 否 String 资源类型。 vm：ecf集群 container：容器化集群（k8s） cu_spec 否 Integer 队列的规格大小。对于包周期队列，表示
本例中选择TCP协议，端口值不填或者填写为步骤1：获取外部数据源的内网IP、端口和安全组获取的数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写步骤2：获取DLI队列网段获取的队列网段。 描述 安全组规则的描述信息，非必填项。 _ 步骤4：创建增强型跨源连接
在不同的时间或者周期内设置不同的队列大小，以满足自己的业务需求，节约成本。 商用 定时扩容/缩容 2020年6月 序号 功能名称 功能描述 阶段 相关文档 1 计算队列支持跨AZ双活 DLI跨AZ队列能够为用户提供跨区域容灾的能力，提高计算的可靠性。 商用 队列管理概述 2 支持Spark作业开发者模式
状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。 对于获取用户Token接口，如果调用后返回状态码为“201”，则表示请求成功。 响应消息头 对应请求消息头，响应同样也有消息头，如“Content-Type”。 对于获取用户Token接口
DLI是否支持导入其他租户共享OBS桶的数据？ DLI支持将同一个租户下子账户共享OBS桶中的数据导入，但是租户级别共享OBS桶中的数据无法导入。 DLI不支持导入其他租户共享的OBS桶中的数据，主要是为了确保数据的安全性和数据隔离。 对于需要跨租户共享和分析数据的场景，建议先将数据脱敏后上
实时聚类 聚类算法是非监督算法中非常典型的一类算法，经典的K-Means算法通过提前确定类别数目，计算数据点之间的距离来分类。对于离线静态数据集，我们可以依赖领域中知识来确定类别数目，运行K-Means算法可以取得比较好的聚类效果。但是对于在线实时流数据，数据是在不断变化和演进，
创建表时指定表的生命周期 功能描述 DLI提供了表生命周期管理功能，在创建表时指定表的生命周期。DLI会根据每张表的最后修改时间和表的生命周期来判断是否要回收此表。通过设置表的生命周期，可以帮助您更好的管理数目众多的表，自动清理长期不再使用的数据表，简化数据表的回收流程。同时支持数据恢复设置，避免因误操作丢失数据。
创建表时指定表的生命周期 功能描述 DLI提供了表生命周期管理功能，在创建表时指定表的生命周期。DLI会根据每张表的最后修改时间和表的生命周期来判断是否要回收此表。通过设置表的生命周期，可以帮助您更好的管理数目众多的表，自动清理长期不再使用的数据表，简化数据表的回收流程。同时支持数据恢复设置，避免因误操作丢失数据。
实时聚类 聚类算法是非监督算法中非常典型的一类算法，经典的K-Means算法通过提前确定类别数目，计算数据点之间的距离来分类。对于离线静态数据集，我们可以依赖领域中知识来确定类别数目，运行K-Means算法可以取得比较好的聚类效果。但是对于在线实时流数据，数据是在不断变化和演进，
使用方式 将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后单击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作业”，在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。
Insert作业执行过程中扫描记录条数。 bad_row_count Long Insert作业执行过程中扫描到的错误记录数。 input_size Long 作业执行过程中扫描文件的大小，单位字节。 result_count Integer 当前作业返回的结果总条数或insert作业插入的总条数。
spark：显示执行引擎为“spark”的作业。 trino：显示执行引擎为“trino”的作业。 用户名 执行该作业的用户名。 类型 作业的类型，包括如下。 IMPORT：导入数据到DLI的作业。 EXPORT：从DLI导出数据的作业。 DCL：包括传统DCL，以及队列权限相关的操作。 DDL：与传
Integer MySQL数据库的端口号。 server-id 否 5400~6000随机值 String 数据库客户端的一个数字ID，该ID必须是MySQL集群中全局唯一的。建议针对同一个数据库的每个作业都设置一个不同的ID。 默认会随机生成一个5400~6400的值。 scan.startup
在实际作业运行中，由于作业的数据流量变化，导致所需计算资源不同，造成流量较小时计算资源浪费，流量较大时计算资源不足以满足计算所需。 DLI提供的动态扩缩容功能可以根据当前作业的负载情况，例如：数据输入输出量、数据输入输出速率、反压等情况，动态的调整当前作业所用的计算资源，提升资源利用率。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
