检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接Mongo scala样例代码 pyspark样例代码 java样例代码 父主题： 使用Spark作业跨源访问数据源
对接OpenTSDB scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
idle_state_retention 否 Integer 空闲状态过期周期。 config_url 否 String 用户上传的config包OBS路径。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的程序包名，用户sql作业的udf jar通过该参数传入。 dirty_data_strategy
Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期，可以选择周一到周日的某一天、某几天、或者不选择。如果不选择，则会在当前时间后的start_hour：start_minute时间点执行扩缩容计划。例如： "repeat_day":
Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期，可以选择周一到周日的某一天、某几天、或者不选择。如果不选择，则会在当前时间后的start_hour：start_minute时间点执行扩缩容计划。例如： "repeat_day":
对接DWS scala样例代码 pyspark样例代码 java样例代码 父主题： 使用Spark作业跨源访问数据源
jks keytool -list -v -keystore truststore.jks 将生成的keystore和truststore文件上传到OBS桶中。 CSS安全集群参数配置 具体参数请参考表1，这里主要说明配置CSS安全集群连接参数时需要注意的内容。 .option("es
对接HBase MRS配置 scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
对接CSS CSS安全集群配置 scala样例代码 pyspark样例代码 java样例代码 父主题： 使用Spark作业跨源访问数据源
对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
如何查看Spark内置依赖包的版本？ DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。 查看Spark内置依赖包的版本请参考内置依赖包。 资源包管理中的包是否能够下载? 资源包仅提供托管服务，不提供下载功能。
运行时覆盖那些有数据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 dli.sql.sqlasync
Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期，可以选择周一到周日的某一天、某几天、或者不选择。如果不选择，则会在当前时间后的start_hour：start_minute时间点执行扩缩容计划。例如： "repeat_day":
所有需手动续费的资源都可归置到“手动续费项”页签，具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费：在资源页面找到需要续费的资源，单击操作列的“续费”。 批量续费：在资源页面勾选需要续费的资源，单击列表左上角的“批量续费”。 选择续费时长，判断是否勾选“统一到期日”，将到期时间统一到各个月
riv=true&tags=k1%3Dv1 其中，“=”需要转义为“%3D”，“k1”为标签键，“v1”为标签值。 多标签场景： 如果涉及到多个标签的场景，则多个标签之间需要通过“,”号分隔，“,”号需要转义为“%2C”，例如： GET /v1.0/{project_id}/databases
"state":"Success"} 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 父主题： Spark作业相关API
"msg": "deleted" } 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 删除成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 父主题： Spark作业相关API
“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource
Python SDK列表 表1 Python SDK列表 类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python
将OBS数据导入至DLI 本节操作介绍将OBS上的数据导入到DLI控制台的表中。 注意事项 导入数据时只能指定一个路径，路径中不能包含逗号。 如果将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。 不建议对同一张表并发导入数据，因为有一定概率发生并发冲突，导致导入失败。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
