检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否必选 参数类型 说明 job_id 是 Long 作业ID。 status_name 否 String 当前状态名称。参数说明可以参考查询作业详情中status作业状态字段说明。 status_desc 否 String 当前状态描述。包含异常状态原因及建议。 请求示例 使用
"dli:*:*:database:*" ] } ] } 授权用户拥有在所在区域中数据库db中表tb中列col的查询权限。 { "Version": "1.1", "Statement": [ { "Effect":
例如:obs://桶名/包名。 modules 否 Array of Strings 依赖的系统资源模块名,具体模块名可通过查询组内资源包(废弃)接口查看。 DLI系统提供了用于执行跨源作业的依赖模块,各个不同的服务对应的模块列表如下: CloudTable/MRS HBase:
compression = 'zstd')来指定表压缩格式为zstd。 select_statement 否 用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的DLI表中。 示例1:创建DLI非分区表 示例说明:创建名为table1的DLI非分区表,并用STORED A
'12333' or id='11111'").show() id、location、city:限定了长度,插入数据时须按长度给定数据值,否则查询时会发生编码格式错误。 操作结果; 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南
grade.science[1]'), JSON_VAL(message,'$.grade.dddd') from kafkaSource; 查看taskmanager的out文件的输出结果 +I[null, James, [80,85], [80,85], 85, null] 父主题:
grade.science[1]"),JSON_VAL(message,"$.grade.dddd") from kafkaSource; 查看sink中kafka的topic中的输出结果 {"message1":null,"message2":"swq","message3":"[80
grade.science[1]"), JSON_VAL(message,"$.grade.dddd") FROM kafkaSource; 查看输出结果 {"message1":null,"message2":"swq","message3":"[80,85]","message4":"[80
test_hbase values('12345','abc','guiyang',false,null,3,23,2.3,2.34)") 查询数据 1 sparkSession.sql("select * from test_hbase").show () 返回结果: 通过DataFrame
作业处于运行中状态时,向DIS的source通道发送数据,验证DIS的sink通道能否收到数据。发送和接受都有字节数证明接收到数据。 图5 查看校验结果 JAVA样例代码 DIS Flink Connector相关依赖 <dependency> <groupId>com
obs://bucket/checkpoint 编译运行 应用程序开发完成后,参考Flink Jar作业开发基础样例将编译打包的JAR包上传到DLI运行,查看对应OBS路径下是否有相关的数据信息。 父主题: Flink作业开发指南