检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics nosc
参数名 参数值 目的连接名称 选择已创建的DLI数据源连接。 资源队列 选择已创建的DLI SQL类型的队列。 数据库名称 选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表创建的数据库名，即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创
E。 job_mode String 作业执行模式： async：异步 sync：同步 queue_name String 队列名称，用于显示作业是在该队列中提交的。 owner String 提交作业的用户。 start_time Long 作业开始的时间。是单位为“毫秒”的时间戳。
ModelFile：用户AI模型文件。 程序包管理页面 表2 程序包管理参数 参数 参数说明 分组名称 程序包所属分组的名称。如果不分组，则显示“--”。 名称 程序包名称。 所有者 上传程序包的用户名称。 包类型 程序包的类型。支持的包类型如下： JAR：用户jar文件。 PyFile：用户Python文件。
在“数据管理”页面中，单击对应数据库名称或“操作”列中的“表管理”，可进入其表管理页面。 表管理页面显示用户在当前数据库中创建所有的表，您可以查看表类型，数据存储位置等信息。表列表默认按创建时间排列，创建时间最近的表显示在最前端。 父主题： 创建数据库和表
nk作业的详情页面即可获取Flink作业ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页显示条数，默认为1000。 offset 否 Integer 查询结果偏移量，默认为0。 请求参数 无 响应参数 表3 响应参数 参数 参数类型
流式计算场景下采用MOR表模型。关于MOR表在读写性能的对比关系如下： 对比维度 MOR表 COW表 流式写 高 低 流式读 高 低 批量写 高 低 批量读 低 高 实时入湖，表模型采用MOR表。 实时入湖一般的性能要求都在分钟内或者分钟级，结合Hudi两种表模型的对比，因此在实时入湖场景中需要选择MOR表模型。
在DLI管理控制台的左侧导航栏中，单击“跨源管理”，选择“增强型跨源”页签。 在对应连接的“操作”列，选择“更多”>“标签”。 进入标签管理页面，显示当前连接的标签信息。 单击“添加/编辑标签”，弹出“添加/编辑标签”对话框，配置参数。标签键和标签值设置完成后，单击“添加”，将标签加入到输入框中。
在DLI管理控制台的左侧导航栏中，单击“资源管理 > 弹性资源池”。 在对应队列的“操作”列，选择“更多> 标签”。 进入标签管理页面，显示当前队列的标签信息。 单击“添加/编辑标签”，弹出“添加/编辑标签”对话框，配置参数。配置完成一个标签，单击“添加”将标签添加到输入框中。
单击“立即启动”，启动作业，系统将自动跳转到Flink作业管理页面，新创建的作业将显示在作业列表中，在“状态”列中可以查看作业状态。 作业提交成功后，状态将由“提交中”变为“运行中”。运行完成后显示“已完成”。 如果作业状态为“提交失败”或“运行异常”，表示作业提交或运行失败。用
待设置的参数说明如表1所示。 图1 Flink作业授权 表1 Flink作业授权参数说明 参数名称 描述 用户名 被授权用户的名称。 说明： 该用户名称是已存在的IAM用户名称。并且该用户需要登录过华为云，才能进行授权操作。 权限设置 全选：所有的权限都勾选上。 查看作业详情：查看此作业的作业详情。
批处理作业的状态，请参见创建批处理作业中的表7。 kind 否 String 批处理作业类型，只支持spark类型参数。 log 否 Array of Strings 显示当前批处理作业的最后10条记录。 sc_type 否 String 计算资源类型。用户自定义时返回CUSTOMIZED。 cluster_name
在DLI管理控制台的左侧导航栏中，单击“资源管理 > 队列管理”。 在对应队列的“操作”列，选择“更多”>“标签”。 进入标签管理页面，显示当前队列的标签信息。 单击“添加/编辑标签”，弹出“添加/编辑标签”对话框，配置参数。配置完成一个标签，单击“添加”将标签添加到输入框中。
String 用户已上传到DLI资源管理系统的类型为jar或pyFile的程序包名。也支持指定OBS路径，例如：obs://桶名/包名。 className String 模板的Java/Spark主类。 cluster_name String 用于指定队列，填写已创建DLI队列的队列名称。
使用DLI分析账单消费数据 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上进行分析，找出费用优化的空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤：
String 批处理作业的状态。 appId 否 String 批处理作业的后台app id。 log 否 Array of Strings 显示当前批处理作业的最后10条记录。 sc_type 否 String 计算资源类型。用户自定义时返回CUSTOMIZED。 cluster_name
控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 创建Spark作业完成后，在控制台单击右上角“执行”提交作业，页面显示“批处理作业提交成功”说明Spark作业提交成功，可以在Spark作业管理页面查看提交的作业的状态和日志。 如果选择spark版本为2.3
ng、date、timestamp、boolean、binary类型，其他类型不支持。 表1 引擎支持矩阵 引擎 DDL操作 写操作支持 读操作支持 SparkSQL Y Y Y Spark DataSource N N Y Flink N N Y HetuEngine N N Y
资源按项目管理，以及项目内的资源管理、成员管理。 关于如何设置企业项目请参考《企业管理用户指南》。 说明： 只有开通了企业管理服务的用户才显示该参数。 描述 该数据库的描述。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源，即所有服务均可在标签
参数值 目的连接名称 选择1.b已创建的DLI数据源连接。 资源队列 选择已创建的DLI SQL类型的队列。 数据库名称 选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表中创建的数据库名，即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
