检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HH:mm:ss GMT。其中，yyyy表示年份，MM表示月份，dd表示日期，HH表示小时，mm表示分钟，ss表示秒，GMT表示时区。例如：2017/05/09 08:00:00 GMT+08:00。 计费模式：目前仅支持按需付费方式。 操作：当前操作列表支持删除通道、扩缩容、查看授权管
授权操作类型。 putRecords：上传数据。 getRecords：下载数据。 枚举值： putRecords getRecords effect String 授权影响类型。 accept：允许该授权操作。 枚举值： accept 请求示例 查询权限策略列表 GET https:/
项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 单次请求返回通道列表的最大数量。 最小值：1 最大值：100 缺省值：10 start_stream_name 否 String 从该通道开始返回通道列表，返回的通道列表不包括此通道
查询转储列表 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK查询指定通道的转储任务列表。 1 2 3 4 ListTransferTasksRquest request = new ListTransferTasksRquest();
单次请求返回APP列表的最大数量。 最小值：1 最大值：100 缺省值：10 start_app_name 否 String 从该app名称开始返回app列表，返回的app列表不包括此app名称。 stream_name 否 String 返回该通道下的app列表。 请求参数 表3 请求Header参数
查询APP列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 listApp_test 方法中的（limit可设置单次请求返回APP列表的最大数量取值范围：1~100）。 配置参数如下： 1 startAppName="app1" #APP名称（从该通道开始返回
查询转储任务列表 功能介绍 本接口用于查询转储任务列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询通道列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 start_stream_name = "" #可设置为空，或是已存在的通道名 执行listStream_sample.py文件默认调用listStream_test方法，获取响应200查询成功。
uest))); 表1 请求参数说明 参数名 类型 说明 limit long 单次请求返回通道列表的最大数量。 取值范围：1~100。 默认值：10。 exclusiveStartStreamName string 从该通道开始返回通道列表，返回的通道列表不包括此通道名称。
查询转储列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="XXX" #已存在的通道名 执行list_dump_task_sample.py文件默认调用list_dump_task_test方法，获取响应200查询成功。 响应示例如下：
错。创建时，不允许设置重复key数据，如果数据库已存在该key，就覆盖value的值。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/stream/{stream_id}/tags/action 表1 路径参数 参数 是否必选 参数类型 描述
日志，表示解析了[N1行(B1字节数)/N2文件(B2字节数)]，成功上传了[N3行/N4文件]。 Agent: Progress: [N1 records (B1 bytes) / N2 files (B2 bytes)] parsed, and [N3 records / N4
API概览 DIS提供的接口为符合RESTful API设计规范的自研接口。 通过DIS的自研接口，您可以使用DIS的如API说明所示的功能。
此配置项仅支持选择，不可手动输入。 - DLI数据表 单击“选择”，在“选择DLI数据表”窗口选择一个数据表。仅支持数据位置为DLI类型的数据表，且用户需具有该表的插入权限。 此配置项仅支持选择，不可手动输入。 配置此项必须已配置“DLI 数据库”。 偏移量 最新：最大偏移量，即获取最新的有效数据。
存储该通道数据的DWS集群ID。 dws_database_name 是 String 存储该通道数据的DWS数据库名称。 dws_schema 是 String 存储该通道数据的DWS数据库模式。 dws_table_name 是 String 存储该通道数据的DWS数据库模式下的数据表。 dws_delimiter
- DWS数据库 存储该通道数据的DWS数据库名称。 手动输入，不可配置为空。 - 数据库模式 一个数据库包含一个或多个命名的模式，模式又包含表。模式还包含其他命名的对象，包括数据类型、函数，以及操作符。同一个对象名可以在不同的模式里使用而不会导致冲突。 - DWS数据表 存储该通道数据的DWS数据库模式下的数据表。
创建demo数据库，在DLI控制台总览页面，选择“SQL作业”，单击“创建作业”，进入SQL作业编辑器。 在SQL作业编辑器左侧，选择“数据库”，单击创建数据库。 “default”为内置数据库，不能创建名为“default”的数据库。 创建OBS表 选择demo数据库，在编辑框中输入以下SQL语句：
默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
