正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
"create_time": 1579520179000, "last_access_time": 1579520179000, "locations": [ "obs
具体如下: “dli-spark-demo-obs”读取和写入OBS数据。 “dli-spark-demo-redis”读取和写入Redis数据。 dli-pyspark-demo:使用Python语言开发Spark作业。例如,样例包中的样例代码实现创建Redis表的功能。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
在准备工作中生成的keystore.jks文件需要先放到OBS桶中,然后填入ak和sk以及jks文件的具体位置。最后在“es.net.ssl.keystore.pass”填入进入文件的密钥。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
OBS桶:选择保存作业日志的OBS桶,根据提示进行OBS桶权限授权。 开启Checkpoint:勾选。 Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。
OBS桶:选择保存作业日志的OBS桶,根据提示进行OBS桶权限授权。 开启Checkpoint:勾选。 Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。
注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
使用须知 Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。 推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。
请求消息 请求样例 表2 请求参数说明 参数名称 是否必选 参数类型 说明 jobs 是 Array of Objects 作业信息列表。具体请参考表3。 msg_confirm_topic 否 String 消息确认topic。
", sk) sparkSession.conf.set("fs.obs.endpoint", enpoint) sparkSession.conf.set("fs.obs.connecton.ssl.enabled", "false") 通过SQL API访问 创建DLI跨源访问
kafka_bootstrap_servers = "ip1:port1,ip2:port2", kafka_group_id = "sourcegroup1", kafka_topic = "test", encode = "json" ); 从Kafka读取对象为
kafka_bootstrap_servers = "ip1:port1,ip2:port2", kafka_group_id = "sourcegroup1", kafka_topic = "test", encode = "json" ); 从Kafka读取对象为
接口相关信息 URI格式:POST /v1.0/{project_id}/streaming/jobs/run {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见批量运行作业。
get_json_object get_json_object(string <json>, string <path>) STRING 根据所给路径对json对象进行解析,当json对象非法时将返回NULL。
get_json_object get_json_object(string <json>, string <path>) STRING 根据所给路径对json对象进行解析,当json对象非法时将返回NULL。
主要参数的填写说明: 包类型:JAR OBS路径:Flink Jar所在的OBS路径。 分组名称:自定义分组或选择已有的分组名称。
OBS桶:选择保存作业日志的OBS桶,根据提示进行OBS桶权限授权。 开启Checkpoint:勾选。 Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。
DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗? DLI 表(OBS表 / DLI 表 )数据暂不支持删除某行数据。 父主题: 使用咨询