检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Objects 用户组资源。具体请参考表4。 响应消息 表6 响应参数 参数名称 是否必选 参数类型 说明 id 否 String 批处理作业的ID。 appId 否 String 批处理作业的后台app ID。 name 否 String 创建时用户指定的批处理名称，不能超过128个字符。
单击“确定”导入保存点。 运行时配置 用户可通过选择“运行时配置”配置作业异常告警和重启选项。 支持Flink OpenSource SQL作业和Flinkjar作业。 在对应Flink作业操作列的“更多 > 运行时配置”。 在“运行时配置”页面配置以下参数。 图3 运行时配置 表1 作业运行参数说明
profile文件 图2 dbt_project.yml文件中配置的profile 验证配置 执行以下命令测试DBT配置是否正确： dbt debug 执行项目作业 测试通过后执行以下命令来执行您的数据模型。 dbt run 父主题： 使用BI工具连接DLI分析数据
添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定计算集群环境为Python3环境。 目前，新建集群环境均已默认为Python3环境。
缩容当前队列。 缩容属于耗时操作，在DLI“规格变更”页面执行缩容操作后，需要等待大约10分钟，具体时长和缩容的CU值有关，等待一段时间后，可以通过刷新“队列管理”页面，对比“规格”和“实际CUs”大小是否一致来判断是否缩容成功。或者在“作业管理”页面，查看“SCALE_QUEU
访问元数据 选择：是 单击“执行”，提交该Spark Jar作业。在Spark作业管理界面显示已提交的作业运行状态。 图13 查看作业运行状态 步骤8：查看作业运行结果 在Spark作业管理界面显示已提交的作业运行状态。初始状态显示为“启动中”。 如果作业运行成功则作业状态显示为“已成
怎么处理？ 设置DLI Flink作业的运行参数时，勾选“作业异常告警”参数，可在作业出现运行异常或者欠费情况时，将作业异常告警信息，以SMN的方式通知用户。 如果遇到提示SMN主题不存在您可以按照以下步骤进行排查： 确认SMN主题是否已经创建。 如果未创建，请在SMN服务管理控制台创建一个新的主题。
k作业。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建弹性资源池：创建弹性资源池。 创建队列：在弹性资源池中添加队列。 上传分组资源：上传Spark作业所需的资源包。 查询组内资源包：确认上传的资源包是否正确。 创建批处理作业：创建并提交Spark批处理作业。
Spark-submit是一个用于提交Spark作业到DLI服务端的命令行工具，该工具提供与开源Spark兼容的命令行。 准备工作 授权。 DLI使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的企业级多租户管理。该服务提供用户身份认证、权限分
参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息，执行成功时，信息可能为空。 mask Array of strings 授权掩码信息。 示例 请求样例： { "job_id":"6b
响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 job 否 Object 作业状态信息。具体请参考表5。 表5 job参数说明 参数名称 是否必选 参数类型
本章节指导用户通过API创建并运行Flink自定义作业。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建弹性资源池：创建弹性资源池。 创建队列：在弹性资源池中添加队列。 上传分组资源：上传Flink自定义作业所需的资源包。 查询组内资源包：确认上传的资源包是否正确。
窗口是处理无限流的核心。窗口把流分割为有限大小的 “桶”，这样就可以在其之上进行计算。 Apache Flink 提供了如下 窗口表值函数（table-valued function, 缩写TVF）把表的数据划分到窗口中： 滚动窗口 滑动窗口 累积窗口 逻辑上，每个元素可以应用于一个或多个窗口，这取决于所使用的窗口表
DLI分区内表在导入数据时，如果文件数据没有包含分区字段，则系统会默认指定分区值“__HIVE_DEFAULT_PARTITION__”，当前Spark判断分区为空时，则会直接返回null，不返回具体的数据。 解决方案 登录DLI管理控制台，在“SQL编辑器”中，单击“设置”。 在参数设置中，添加参数“spark
测试是在数据装载测试完成后，数据库处于初始状态，未进行其它任何操作，特别是缓冲区还没有被测试数据库的数据，被称为raw查询。Power测试要求22 个查询顺序执行1 遍，同时执行一对RF1 和RF2 操作。最后进行Throughput 测试，也是最核心和最复杂的测试，更接近于实际应用环境，与Power 测试比对SUT
SQL作业访问报错：File not Found 问题现象 执行SQL作业访问报错：File not Found。 可能原因 可能由于文件路径错误或文件不存在导致系统无法找指定文件路径或文件。 文件被占用。 解决措施 检查文件路径、文件名。 检查文件的路径是否正确，包括目录名称和文件名。 文件被占用
DLI弹性资源池和队列类 怎样查看弹性资源池和作业的资源使用情况？ 怎样判断当前DLI队列中的作业是否有积压？ 怎样查看DLI队列负载？ 怎样监控DLI队列上的作业异常？ 怎样将老版本的Spark队列切换成通用型队列 在default队列执行DLI SQL失败，提示超时异常怎么办？
mode”配置为copy时，可以配置merge时的过滤列名。 connector.write.escape-string-value 否 是否对string类型值进行转义，默认为false。 注意事项 无 示例 使用gsjdbc4驱动连接时，加载的数据库驱动类为：org.postgresql
“Content-Type”为消息体的类型（格式），默认取值为“application/json”。 提交SQL作业的URI为：POST /v1.0/{project_id}/jobs/submit-job 其“Content-Type”只支持“application/json”，若设置为“tex
“_”仅代表一个字符。 attr_expr 属性表达式。 attrs_value_set_expr 属性值集合。 in 关键字，用于判断属性是否在一个集合中。 const_string 字符串常量。 const_int 整型常量。 ( 指定常量集合开始。 ) 指定常量集合结束。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
