检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
null ] ] } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 200 提交成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API
DLI作业桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶,并获取SQL作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改,子用户无权限。
增强型跨源 ”。 选择待添加路由的增强型跨源连接,并添加路由。 方法一: 选择待添加的增强型跨源连接,单击操作列的“路由信息”。 单击“添加路由”。 在添加路由的对话框中,填写路由信息。参数说明请参考表1。 单击“确定”。 方法二: 选择待添加的增强型跨源连接,单击操作列的“更多 > 添加路由”。
当前云平台尚未提供预置的Spark模板,但支持用户自定义Spark作业模板,本节操作介绍在Spark管理页面创建Spark模板的操作方法。 新建Spark作业模板 Spark作业模板的创建方法是在创建Spark作业时,可直接将配置完成的作业信息设置为模板。 在DLI管理控制台的左侧导航栏中,单击“作业
DLI作业桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台配置DLI作业桶,并获取Spark作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改,子用户无权限。
具体操作请参考SDK V3版本开发指南。 DLI SDK(服务自研):是DLI服务自行开发的SDK,本手册介绍DLI 自研SDK的使用方法。相关开发包请从华为云DLI 开发工具包(SDK)获取。 Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python
支持Flink SQL作业快速开启checkpoint。 支持Flink作业日志转储保留,便于作业分析。 需要一定的技术能力完成代码编译、集群搭建、配置、运维。 用户需要自己编写完整代码并进行编译。 用户需要登录集群使用命令进行提交,且需要维护集群。 用户需要在代码里写入checkpoint才能开启。
Flink模板包括样例模板和自定义模板。用户可以在已有的样例模板中进行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。也可以根据自己的习惯和方法自定义作业模板,方便后续可以直接调用或修改。 Flink模板管理主要包括如下功能: Flink SQL样例模板 Flink OpenSource
改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。 详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 父主题: 如何调用API
PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION:分区。 LOCATION:分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path
的操作方法。 Spark作业场景 Spark Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Spark Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Spark作业委托临时凭证 本操作介绍获取Spark Jar作业委托临时凭证的操作方法。 方案2:Spark
在DLI使用Hudi提交Spark SQL作业 登录DLI管理控制台,选择“SQL编辑器”首进入提交SQL作业的界面。提交SQL作业时需要选择支持Hudi的Spark SQL队列。 创建一张Hudi表: 将如下的建表语句粘贴至DLI SQL编辑器的输入区域,修改 LOCATION
Hadoop、Hive、Hudi、Mysql-cdc相关依赖,作用域请使用provided,即在依赖中添加<scope>provided</scope>。 Flink源代码中只有明确标注了@Public或者@PublicEvolving的才是公开供用户调用的方法,DLI只对这些方法的兼容性做出产品保证。 配置计算资源规格参数。
源认证权限。 给新用户设置跨源认证权限时,该用户所在用户组具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 跨源认证用户授权 登录DLI管理控制台。 单击“跨源管理 > 跨源认证”。
1607589874156 } 状态码 状态码如表8所示。 表8 状态码 状态码 描述 200 创建成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Spark作业相关API
TABLE命令创建DLI表并关联CSS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联CSS之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3
"user_name":"Alice","area_id":"330106"} 用户可按下述操作查看输出结果: 方法一:"更多" -> "FlinkUI" -> "Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。
权限。 给新用户设置作业权限时,该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 Flink作业权限相关操作步骤 在DLI管理控制台的左侧,选择“作业管理”>“Flink作业”。
1").show() 查询结果: DataFrame相关操作 createDataFrame() 方法创建的数据和read.format() 方法及read.jdbc() 方法查询的数据都为DataFrame对象,可以直接进行查询单条记录等操作(在“通过DataFrame AP
apigateway WHERE service_id = 'ecs' Group BY http_method 或者 SELECT http_method FROM apigateway WHERE service_id = 'ecs' DISTRIBUTE BY http_method