检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI Flink作业 jobs.flink.jobid resource DLI程序包 resources.resourcename group DLI程序包组 groups.groupname datasourceauth DLI跨源认证信息 datasourceauth.name
Hive 方言支持的 DDL 语句，Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。 使用Hive语法创建OBS表 defalut方言： with 属性中需要设置hive.is-external为true。
图10 生成Jar包 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同，不可跨区域执行操作。 （可选）可以将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。
使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
“EXTERNAL”：OBS表。 “VIEW”：VIEW视图。 data_type 否 String 数据类型，包括“csv”，“parquet”，“orc”，“json”和“avro”。 data_location 否 String 数据存储的路径，为OBS路径。
部分字段更新 create table h0(id int, comb int, name string, price int) using hudi options(primaryKey = 'id', preCombineField = 'comb') LOCATION 'obs
注意事项 导入OBS表时，创建OBS表时指定的路径必须是文件夹，若建表路径是文件将导致导入数据失败。 仅支持导入位于OBS路径上的原始数据。 不建议对同一张表并发导入数据，因为有一定概率发生并发冲突，导致导入失败。 导入数据时只能指定一个路径，路径中不能包含逗号。
将认证凭证上传到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。 填写CSS认证信息，详细参数说明请参考表1。
CSV 存储路径 输入或选择OBS路径。路径可以是文件夹，也可以是路径。 说明： 如果需要将OBS上的数据导入OBS表，则建表路径必须是文件夹。建表路径是文件时，会导致数据导入失败。
CREATE TABLE orders ( orderkey bigint, orderstatus varchar, totalprice double, orderdate date ) WITH (format = 'ORC', location='obs
上传认证凭证到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。 填写Kafka认证信息，详细参数说明请参考表2。
"create_time": 1579520179000, "last_access_time": 1579520179000, "locations": [ "obs
", sk) sparkSession.conf.set("fs.obs.endpoint", enpoint) sparkSession.conf.set("fs.obs.connecton.ssl.enabled", "false") 通过SQL API访问 创建DLI跨源访问
具体如下： “dli-spark-demo-obs”读取和写入OBS数据。 “dli-spark-demo-redis”读取和写入Redis数据。 dli-pyspark-demo：使用Python语言开发Spark作业。例如，样例包中的样例代码实现创建Redis表的功能。
目前只支持： obs_adm：DLI获得访问和使用OBS的委托权限。 dis_adm：访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）DIS Administrator权限。
创建DMS的kafka集群，开启SASL_SSL，并下载SSL证书，将下载的证书client.jks上传到OBS桶中。
如obs://xx/xx table.type 是 COPY_ON_WRITE String Hudi表类型。
在准备工作中生成的keystore.jks文件需要先放到OBS桶中，然后填入ak和sk以及jks文件的具体位置。最后在“es.net.ssl.keystore.pass”填入进入文件的密钥。
使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
Jar包的管理方式： 上传OBS管理程序包：提前将对应的jar包上传至OBS桶中。并在此处选择对应的OBS路径。 上传DLI管理程序包：提前将对应的jar包上传至OBS桶中，并在DLI管理控制台的“数据管理>程序包管理”中创建程序包，具体操作请参考创建DLI程序包。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
