检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DWS Connector概述 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQ
建模和预测,建模是指提取数据中有用的统计信息和数据特征,预测是指使用模型对未来的数据进行推测。DLI服务提供了一系列随机线性模型,帮助用户在线实时进行模型的建模和预测。 ARIMA (Non-Seasonal) ARIMA(Auto-Regressive Integrated Moving
sync:同步 请求示例 将db2.t2的数据导出至OBS,并以json格式存储。 { "data_path": "obs://home/data1/DLI/test", "data_type": "json", "database_name": "db2",
建模和预测,建模是指提取数据中有用的统计信息和数据特征,预测是指使用模型对未来的数据进行推测。DLI服务提供了一系列随机线性模型,帮助用户在线实时进行模型的建模和预测。 ARIMA (Non-Seasonal) ARIMA(Auto-Regressive Integrated Moving
当“encode”为“json”时,不需要设置属性之间的分隔符。 json_config 否 当“encode”为“json”时,可以通过该参数指定json字段和流定义字段的映射关系,格式为: "field1=data_json.field1;field2=data_json.field2;field3=$"
async:异步 sync:同步 请求示例 将SQL语句的查询结果导出到OBS中以json格式存储。 { "data_path": "obs://obs-bucket1/path", "data_type": "json", "compress": "gzip", "with_column_header":
当“encode”为“json”时,不需要设置属性之间的分隔符。 json_config 否 当“encode”为“json”时,可以通过该参数指定json字段和流定义字段的映射关系,格式为: "field1=data_json.field1;field2=data_json.field2;field3=$"
息。 json_config 否 当encode为json时,用户可以通过该参数指定json字段和流属性字段的映射关系。 格式:"field1=json_field1;field2=json_field2" 格式说明:field1、field2为创建的表字段名称。json_fie
息。 json_config 否 当encode为json时,用户可以通过该参数指定json字段和流属性字段的映射关系。 格式:"field1=json_field1;field2=json_field2" 格式说明:field1、field2为创建的表字段名称。json_fie
"state":"xxx" } } 支持不配置json_schema也不配置json_config。json_config使用可以参考开源Kafka输入流样例说明。 这种情况下默认用ddl中属性名当做json key来进行解析。 测试示例数据如下,测试数据既包括嵌套json字段,如billing_a
当编码格式为json时,则不需要设置属性之间的分隔符。 json_config 否 当编码格式为json时,用户可以通过该参数来指定json字段和流定义字段的映射关系,格式为“field1=data_json.field1; field2=data_json.field2”。
数。 json_config 否 当encode为json时,用户可以通过该参数指定json字段和流属性字段的映射关系。 格式:"field1=json_field1;field2=json_field2" 格式说明:field1、field2为创建的表字段名称。json_fie
"state":"xxx" } } 支持不配置json_schema也不配置json_config。json_config使用可以参考开源Kafka输入流样例说明。 这种情况下默认用ddl中属性名当做json key来进行解析。 测试示例数据如下,测试数据既包括嵌套json字段,如billing_a
当编码格式为json时,则不需要设置属性之间的分隔符。 json_config 否 当编码格式为json时,用户可以通过该参数来指定json字段和流定义字段的映射关系,格式为“field1=data_json.field1; field2=data_json.field2”。
json_config 否 当编码格式为json时,用户可以通过该参数来指定json字段和流定义字段的映射关系,格式为“field1=data_json.field1;field2=data_json.field2”。 obs_dir 是 文件存储目录。格式为{桶名}/{目录名},
json_config 否 当编码格式为json时,用户可以通过该参数来指定json字段和流定义字段的映射关系,格式为“field1=data_json.field1;field2=data_json.field2”。 obs_dir 是 文件存储目录。格式为{桶名}/{目录名},
确定类别数目,运行K-Means算法可以取得比较好的聚类效果。但是对于在线实时流数据,数据是在不断变化和演进,类别数目极有可能发生变化,DLI服务提供一种能够应对此类场景,无需提前设定聚类数目,并且低延时的在线聚类算法。 算法大致思想为:定义一种距离函数,两两数据点之间如果距离小
确定类别数目,运行K-Means算法可以取得比较好的聚类效果。但是对于在线实时流数据,数据是在不断变化和演进,类别数目极有可能发生变化,DLI服务提供一种能够应对此类场景,无需提前设定聚类数目,并且低延时的在线聚类算法。 算法大致思想为:定义一种距离函数,两两数据点之间如果距离小
= 'latest-offset', 'format.type' = 'json' ); 从Kafka中读取编码格式包含嵌套的json数据,对象为kafkaSource的表。 例如包含嵌套的json数据格式为: { "id":"1", "type":"online"
(SO_TIMEOUT)。超时时间必须大于或者等于 0,如果设置为 0 则是无限超时。 format 否 json String Elasticsearch连接器支持指定格式。该格式必须生成有效的 json 文档。默认情况下使用内置'json'格式。 请参考Format页面以获取更多详细信息和格式参数。 certificate