检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI的数据可存储在哪些地方 DLI支持存储哪些格式的数据？ DLI支持如下数据格式： Parquet CSV ORC Json Avro DLI服务的数据可以存储在哪些地方？ OBS：SQL作业，Spark作业，Flink作业使用的数据均可以存储在OBS服务中，降低存储成本。
类型至 int96。 Decimal：根据精度，映射 decimal 类型至固定长度字节的数组。 下表列举了 Flink 中的数据类型与 JSON 中的数据类型的映射关系。 注意：复合数据类型暂只支持写不支持读（Array、Map 与 Row）。 表2 数据类型映射 Flink数据类型
'true' 特殊字符作为分隔符,'\x01'会被转换为二进制的0x01 JSON格式导入 'sink.properties.format' = 'json' 'sink.properties.read_json_by_line' = 'true' 示例 该示例是从Datagen数据
'KafkaAddress1:KafkaPort,KafkAddress2:KafkaPort', 'key.format' = 'json', 'value.format' = 'json' ); insert into UPSERTKAFKASINK select * from orders;
3。只有CSV和JSON类型数据具有该属性。data_location为OBS时填写。 timestamp_format 否 String 用户自定义时间类型。默认格式为“yyyy-MM-dd HH:mm:ss”。时间戳格式字符定义详见表3。只有CSV和JSON类型数据具有该属性
当key-ttl-mode取值为no-ttl时，不需要配置此参数。 当key-ttl-mode取值为expire-msec时，需要配置为可以解析成Long型的字符串。例如5000，表示5000ms后key过期。 当key-ttl-mode取值为expire-at-date时，需要配
detail String 相关列信息的Json字符串。 statement String 作业执行的SQL语句。 tags Array of objects 作业的标签。具体请参考表3。 user_conf String SQL查询的相关列信息的Json字符串。 result_format
datasource.css resources Array of Objects JSON对象列表，填写用户已上传到队列的类型为JSON的资源包名和类型。具体请见表4。 groups Array of Objects JSON对象列表，填写用户组类型资源，格式详见请求示例。如果“resourc
【SPARK-33480】：支持char/varchar数据类型。 【SPARK-32302】: 部分谓词下推优化。 【SPARK-30648】：支持JSON datasource表谓词下推。 【SPARK-32346】：支持avro datasource表谓词下推 。 【SPARK-32461】：shuffle
导入的数据路径（当前仅支持导入OBS上的数据）。 data_type 是 String 导入的数据类型（当前支持csv、parquet、orc、json、avro数据类型）。 说明： 不支持导入Hive表生成的avro格式数据。 database_name 是 String 导入表所属的数据库名称。
当data-type设置为“sorted-set”数据类型的默认score。 deserialize-error-policy 否 fail-job Enum 数据解析失败时的处理方式。 枚举类型，包含以下值： fail-job：作业失败 skip-row：跳过当前数据 null-field：设置当前数据为null
根据Postgres服务上安装的插件确定。支持的插件列表如下： decoderbufs（默认值） wal2json wal2json_rds wal2json_streaming wal2json_rds_streaming pgoutput debezium.* 否 无 String 更细
当data-type设置为“sorted-set”数据类型的默认score。 deserialize-error-policy 否 fail-job Enum 数据解析失败时的处理方式。 枚举类型，包含以下值： fail-job：作业失败 skip-row：跳过当前数据 null-field：设置当前数据为null
(SO_TIMEOUT)。超时时间必须大于或者等于 0，如果设置为 0 则是无限超时。 format 否 json String Elasticsearch连接器支持指定格式。该格式必须生成有效的 json 文档。默认情况下使用内置'json'格式。 请参考Format页面以获取更多详细信息和格式参数。 certificate
CSV：DLI支持读取不压缩、gzip压缩的csv数据。 ORC：DLI支持读取不压缩、snappy压缩的orc数据。 JSON：DLI支持读取不压缩、gzip压缩的json数据。 Avro：DLI支持读取不压缩的avro数据。 CSV 存储路径 输入或选择OBS路径。路径可以是文件夹，也可以是路径。
table testobstable(id varchar(128), external_data varchar(16)) using JSON OPTIONS (path 'obs://bucketName/datapath') PARTITIONED by (external_data);
配置数据更新间隔。 示例 该示例展示了一个经典的业务流水线，维度表来自 Hive，每天通过批处理流水线作业或 Flink 作业更新一次，kafka流来自实时在线业务数据或日志，需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表，并插入数据。 CREATE TABLE if
否 列字段描述。仅支持字符串常量。 file_format 是 file_format是用于创建表的输入格式。支持orc，parquet，json，csv，avro类型。 path 是 数据文件所在的OBS存储路径，推荐使用OBS并行文件系统存储。 格式：obs://bucketName/tblPath
注册或抓取schema的Confluent Schema Registry的URL。 示例 1. 从kafka中作为source的topic中读取json数据，并以confluent avro的形式写入作为sink的topic中 根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源，
String 用于对Kafka消息中key部分序列化和反序列化的格式。key字段由PRIMARY KEY语法指定。支持的格式如下： csv json avro 请参考Format页面以获取更多详细信息和格式参数。 key.fields-prefix 否 无 String 为键格式的所
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
