检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果开启安全模式,未开启https,需要配置用户名username、密码password,且语法中hosts字段值以http开头。 如果开启安全模式,开启https,需要配置用户名username、密码password、证书位置certificate。请注意该场景hosts字段值以https开头。
包年/包月计费模式:按弹性资源池的实际CUs计费,其中规格部分包年/包月,超出规格的部分按需计费。 弹性资源池CU时套餐包:按购买的套餐包周期价格扣费,其中套餐包内的规格包周期计费,超出套餐包规格的部分按需计费。 更多弹性资源池计费信息请参考弹性资源池计费。 怎样创建“弹性资源池队列”? 购买弹性资源池。
相应的认证类型。 CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书,通过跨源认证将以上信息存储到DLI服务中,便于DLI安全访问CSS数据源。详细操作请参考创建CSS类型跨源认证。 Kerberos类型的
Kafka作为源表,Print作为结果表(适用于Kafka集群已开启SASL_SSL场景) 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 其中,properties.sasl.jaas.config字段包含账号密码,使用DEW进行加密。
请求参数说明如下,详细参数使用可以参考Python SDK概述下载样例代码。 kind:资源包类型,当前支持包类型分别为: jar:用户jar文件 pyfile:用户Python文件 file:用户文件 modelfile:用户AI模型文件 paths:对应资源包的OBS路径,参数构成为:{bucketName}.{
deleteStreamTemplate 创建认证信息并上传证书 datasourceauth uploadAuthInfo 更新跨源认证信息 datasourceauth updateAuthInfo 删除跨源认证信息 datasourceauth deleteAuthInfo 上传资源包 resource uploadResources
若开启安全模式,开启https: 方法1:推荐使用CSS类型跨源认证名称,并配置es_auth_name为跨源认证的名称。请注意该场景hosts字段值以https开头。 方法2:不使用跨源认证,但需要配置用户名username、密码password、证书位置certificat
Boolean 是否使用异步方式上传资源包。默认值为“false”,表示不使用异步方式。推荐使用异步方式上传资源包。 请求示例 从OBS上传jar包至DLI,并定义分组名称为gatk。 { "paths": [ "https://xkftest.obs.xxx
egg包,如果没有,在“程序包管理”页面上传pyFile。具体步骤参考如下: 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击右上角“创建”可创建程序包。 在“创建程序包”对话框,配置如下参数: 包类型:PyFile。
操作场景 DLI允许用户提交编译为Jar包的Spark作业,Jar包中包含了Jar作业执行所需的代码和依赖信息,用于在数据查询、数据分析、机器学习等特定的数据处理任务中使用。在提交Spark Jar作业前,将程序包上传至OBS,并将程序包与数据和作业参数一起提交以运行作业。 本例
on_xx下生成运行日志。 另外,由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件(例如l:“log4j
及时充值。 欠费原因 已购买套餐包,但使用量超出套餐包额度,进而产生按需费用,同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包,为什么仍然产生按需计费?识别产生按需计费的原因,并重新选择正确的套餐包或保证账户中的余额充足。 未购买套餐包,在按需计费模式下账户的余额不足。
要用户自行编写并构建Jar作业程序包,在提交Flink Jar作业前,将Jar作业程序包上传至OBS,并将程序包与数据和作业参数一起提交以运行作业。 本例介绍通过DLI控制台提交Flink Jar作业程序包的基本流程。由于不同的业务需求,Jar包的具体编写会有所差异。建议您参考D
获取DLI SDK 在“DLI SDK DOWNLOAD”页面,单击选择所需的SDK链接,即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包,解压后目录结构如下: 表1 目录结构 名称 说明 dli python环境的DLI SDK基础模块。 examples
故障处理 运行Spark作业,作业运行失败,作业日志中提示No respond错误 问题现象 运行Spark作业,作业运行失败,作业日志中提示No respond错误 解决方案 重新创建Spark作业,创建作业时需要在“Spark参数(--conf)”中添加配置:“spark.sql
调用说明 数据湖探索提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见构造请求。 DLI API中除特殊说明外,通常为同步操作,即响应消息中的“is_success”为请求是否执行成功。 若AP
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric,查询对应的DLI表会报错。 若OpenTSDB开了安全模式,则访问时,需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
jar_path 格式 无。 说明 jar包路径,该路径可以是本地路径也可以是HDFS路径。 父主题: 标示符
class_name 格式 无。 说明 函数所依赖的类名,注意类名需要包含类所在包的完整路径。 父主题: 标示符
模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”,表示不使用异步方式。推荐使用异步方式上传资源包。 owner 否 String 资源包拥有者。 description 否 String 资源模块描述。 module_name