检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OPTIONS('BADRECORDSPATH'='obs://bucket/path') 配置该选项后，MODE不可配，固定为"DROPMALFORMED"，即将能够成功转换的记录导入到目标表，而将转换失败的记录存储到指定错误记录存储目录。 注意事项 导入OBS表时，创建OBS表时指定的路径必须是文件夹，若建表路径是文件将导致导入数据失败。
Avro：DLI支持读取不压缩的avro数据。 CSV 存储路径 输入或选择OBS路径。路径可以是文件夹，也可以是路径。 说明： 如果需要将OBS上的数据导入OBS表，则建表路径必须是文件夹。建表路径是文件时，会导致数据导入失败。 obs://obs1/sampledata.csv 表头:无/有 当“数
式的文件数据导入。 MAP数据类型建表必须指定schema，且不支持date、short、timestamp数据类型。 对于JSON格式OBS表，MAP的键类型只支持STRING类型。 由于MAP类型的键不能为NULL，MAP键不支持对插入数据进行可能出现NULL值类型之间的隐式
式的文件数据导入。 MAP数据类型建表必须指定schema，且不支持date、short、timestamp数据类型。 对于JSON格式OBS表，MAP的键类型只支持STRING类型。 由于MAP类型的键不能为NULL，MAP键不支持对插入数据进行可能出现NULL值类型之间的隐式
"last_access_time": 1579520179000, "locations": [ "obs://test/partition" ] }, {
方法查询的数据都为DataFrame对象，可以直接进行查询单条记录等操作（在“通过DataFrame API访问数据源”中，提到将DataFrame数据注册为临时表）。 where where 方法中可传入包含and 和 or 的条件筛选表达式，返回过滤后的DataFrame对象，示例如下： 1 jdbcDF
结果表中的功能。 dli-spark-demo：开发Spark作业时的样例代码参考。具体如下： “dli-spark-demo-obs”读取和写入OBS数据。 “dli-spark-demo-redis”读取和写入Redis数据。 dli-pyspark-demo：使用Pytho
否 String 委托版本信息。 current_roles 否 Array of Strings 角色。目前只支持： obs_adm：DLI获得访问和使用OBS的委托权限。 dis_adm：访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）DIS Administrator权限。
= 'obs://xx/krb5.conf', 'properties.connector.kerberos.keytab' = 'obs://xx/user.keytab', 'properties.ssl.truststore.location' = 'obs://xx/truststore
= 'obs://xx/krb5.conf', 'properties.connector.kerberos.keytab' = 'obs://xx/user.keytab', 'properties.ssl.truststore.location' = 'obs://xx/truststore
re.jks文件需要先放到OBS桶中，然后填入ak和sk以及jks文件的具体位置。最后在“es.net.ssl.keystore.pass”填入进入文件的密钥。 .option("es.net.ssl.truststore.location", "obs://桶名/path/truststore
Slot”：每个TaskManager包含的Slot数量。 保存作业日志 设置是否将作业运行时的日志信息保存到OBS。 勾选后需配置下列参数： “OBS桶”：选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 作业异常告警 设置是否将作业异常告警信息，如作业出现运行异常或者欠费情况，以SMN的方式通知用户。
sparkSession.conf.set("fs.obs.access.key", ak) sparkSession.conf.set("fs.obs.secret.key", sk) sparkSession.conf.set("fs.obs.endpoint", enpoint) sparkSession
再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。 推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。
参数名称 是否必选 参数类型 说明 jobs 是 Array of Objects 作业信息列表。具体请参考表3。 msg_confirm_topic 否 String 消息确认topic。 message_id 是 String 消息id。 表3 jobs参数说明 参数名称 是否必选 参数类型
<scope>provided</scope> </dependency> 使用方式 将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后单击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flin
当前DLI支持Processing Time和Event Time两种时间模型，具体使用语法可以参考配置时间模型。 示例 从Kafka读取对象为test的topic。数据编码格式为json且不含嵌套，例如：{"attr1": "lilei", "attr2": 18}。 1 2 3
当前DLI支持Processing Time和Event Time两种时间模型，具体使用语法可以参考配置时间模型。 示例 从Kafka读取对象为test的topic。数据编码格式为json且不含嵌套，例如：{"attr1": "lilei", "attr2": 18}。 1 2 3
方法查询的数据都为DataFrame对象，可以直接进行查询单条记录等操作（在“步骤4”中，提到将DataFrame数据注册为临时表）。 where where 方法中可传入包含and 和 or 的条件筛选表达式，返回过滤后的DataFrame对象，示例如下： 1 jdbcDF.where("id
Managed：数据存储位置为DLI的表。 External：数据存储位置为OBS的表。 View：视图，视图只能通过SQL语句创建。 跨源表：表类型同样为External。 创建DLI表时不支持指定存储路径。 数据导入 仅支持将OBS上的数据导入DLI或OBS中。 支持将OBS中CSV，Parquet，ORC，JS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
