正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表相关 创建DLI表 DLI提供创建DLI表的接口。您可以使用该接口创建数据存储在DLI内部的表。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
15及以上版本在创建Jar作业时支持直接配置OBS中的程序包,不支持读取DLI程序包。 使用CES监控DLI服务 您可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 例如监控DLI队列资源使用量和作业的运行情况。了解更多DLI支持的监控指标请参考使用CES监控DLI服务。
15及以上版本在创建Jar作业时支持直接配置OBS中的程序包,不支持读取DLI程序包。 使用CES监控DLI服务 您可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 例如监控DLI队列资源使用量和作业的运行情况。了解更多DLI支持的监控指标请参考使用CES监控DLI服务。
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 新建作业模板 DLI提供新建Flink作业模板的接口。您可以使用该接口新建一个Flink作业模板。示例代码如下: 1 2 3 4 5 6 public static void createFlinkJ
表相关 创建DLI表 DLI提供创建DLI表的接口。您可以使用该接口创建数据存储在DLI内部的表。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 def create_dli_tbl(dli_client
名为“default”的数据库。 删除数据库 DLI提供删除数据库的接口。您可以使用该接口删除数据库。示例代码如下: 1 2 3 4 5 6 7 8 //调用Database对象的deleteDatabase接口删除数据库, //其中Database对象通过调用对象DLIClie
asticsearch的文档ID。文档ID为最多512个字节不包含空格的字符串。Elasticsearch结果表通过使用“document-id.key-delimiter”参数指定的键分隔符按照DDL中定义的顺序连接所有主键字段,从而为每一行生成一个文档ID字符串。某些类型(例
asticsearch的文档ID。文档ID为最多512个字节不包含空格的字符串。Elasticsearch结果表通过使用“document-id.key-delimiter”参数指定的键分隔符按照DDL中定义的顺序连接所有主键字段,从而为每一行生成一个文档ID字符串。某些类型(例
根据提示输入对应信息,单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后,打开凭证文件,获取AK/SK信息。 左侧导航栏单击“API凭证”,在“项目列表”中获取“项目ID”即为project_id值,对应的“项目”即为region的值。 Token认证方式样例代码 代码样例
根据提示输入对应信息,单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后,打开凭证文件,获取AK/SK信息。 左侧导航栏单击“API凭证”,在“项目列表”中获取“项目ID”即为project_id值,对应的“项目”即为region的值。 Token认证方式样例代码 代码样例
数据和导出数据等操作,在系统中对应的执行实体,称之为SQL作业。 Spark作业 Spark作业是指用户通过可视化界面和RESTful API提交的作业,支持提交Spark Core/DataSet/MLlib/GraphX等Spark全栈作业。 CU CU是队列的计价单位。 1CU=
数据库相关 创建数据库 DLI提供创建数据库的接口。您可以使用该接口创建数据库,示例代码如下: 1 2 3 4 5 6 7 8 def create_db(dli_client): try: db = dli_client.create_database('db_for_test')
'properties.security.protocol' = 'SASL_SSL'; 'properties.sasl.mechanism' = 'GSSAPI或者PLAIN'; 'properties.sasl.jaas.config' = 'org.apache.kafka.common.security
'properties.security.protocol' = 'SASL_SSL'; 'properties.sasl.mechanism' = 'GSSAPI或者PLAIN'; 'properties.sasl.jaas.config' = 'org.apache.kafka.common.security
户对Spark组件不感知,仅仅可以使用该服务,且接口为封装式接口。具体请参考《数据湖探索用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上,用户可以根据实际需求调整及优化Spark服务,支持各种接口调用。具体请参考《MapReduce服务开发指南》。
Jar作业分析数据。 准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置
例如,当前Livy工具安装路径为“/opt/livy”,则当前需要上传的jar包名称如下: /opt/livy/rsc-jars/livy-api-0.7.2.0107.jar /opt/livy/rsc-jars/livy-rsc-0.7.2.0107.jar /opt/livy/repl_2
传参不能为JSON格式。 对应批处理作业提交提供两个接口: 异步 asyncSubmit,提交后直接返回,不等待 同步 submit,提交后会一直等待作业执行结束 删除批处理作业 DLI提供删除批处理作业的接口。您可以使用该接口删除批处理作业。示例代码如下: 1 2 3 4 5 6
表1 Flink作业授权参数说明 参数名称 描述 用户名 被授权用户的名称。 说明: 该用户名称是已存在的IAM用户名称。并且该用户需要登录过华为云,才能进行授权操作。 权限设置 全选:所有的权限都勾选上。 查看作业详情:查看此作业的作业详情。 更新作业:编辑修改此作业。 删除作业:删除此作业。
创建DLI表的语法请参考创建DLI表,创建OBS表的语法请参考创建OBS表。 如果是通过API接口调用提交该作业请参考以下操作说明: 调用创建批处理作业接口,参考以下请求参数说明。 详细的API参数说明请参考《数据湖探索API参考》>《创建批处理作业》。 将请求参数中的“catalog_name”参数设置为“dli”。