检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf 其中 -f 为用户编写的配置文件路径。 检查DIS Logstash Input下载数据是否正常。 向input指向的通道上传数据，如果Logstash没有报错且output端能正常获取到数据，表示下载正常。 登录DIS控制台，等待2分钟后，查看表1中“streams”配置的通
ect文件所在的目录层次结构，将使用转储文件的生成时间。 例如系统在2018年10月16日生成转储文件，选择“时间目录格式”精确到日，则数据转储成功后，在OBS的存储目录为“桶名称/转储文件目录/2018/10/16”。 开启自定义时间戳开关，则写到OBS的Object文件所在的
登录控制台，在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access
分为Input与Output插件，本节介绍插件的各个配置项具体含义。 配置DIS Logstash Input 配置模板如下：（该模板为从DIS通道下载数据写入本地文件） input { dis { streams => ["YOUR_DIS_STREAM_NAME"]
streamname="dis-test1" #已存在的通道名 参照该文件中的test方法，bodySerializeType="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方
配置为空时，数据直接存储在OBS桶内。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表2罗列了源数据类型为JSON，CSV，转储至MRS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表2 转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema
查询转储列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 streamname="XXX" #已存在的通道名 执行list_dump_task_sample.py文件默认调用list_dump_task_test方法，获取响应200查询成功。 响应示例如下：
查询转储任务列表 功能介绍 本接口用于查询转储任务列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
appName = "" #创建的APP名称 配置好以上参数，执行createApp_sample.py文件调用createApp_test方法，响应201表示创建成功。 父主题： 使用SDK（Python）
生的日志文件，其中dis-agent.log文件记录程序运行状况，dis-agent-2022-10-28.log等带日期的log文件记录文件上传记录，每天生成一个日志文件。 为此，用户也可以在dis-agent程序安装路径下的conf文件夹修改log4j2.xml文件，自定义l
#APP名称（从该通道开始返回app列表，返回的app列表不包括此app名称。） 配置好以上参数，执行listApp_sample.py文件调用Applist_test方法。 响应结果如下： 1 2 200 {'has_more_app': False, 'apps': [{'app_id': 'kpvGNrFYfKjpqTSdPIX'
单次请求返回APP列表的最大数量。 最小值：1 最大值：100 缺省值：10 start_app_name 否 String 从该app名称开始返回app列表，返回的app列表不包括此app名称。 stream_name 否 String 返回该通道下的app列表。 请求参数 表3 请求Header参数
处理方法：检查Agent所在日志服务器的网络配置是否可以连接公网。 查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件，日志中会输出类似如下日志，表示解析了[N1行(B1字节数)/N2文件(B2字节数)]，成功上传了[N3行/N4文件]。 Agent: Progress:
查询通道列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 start_stream_name = "" #可设置为空，或是已存在的通道名 执行listStream_sample.py文件默认调用listStream_test方法，获取响应200查询成功。
需要先传入当前设置的通道名称。 配置好以上参数，执行commitCheckpoint_sample.py文件调用commitCheckpoint_test方法，响应201表示成功。 父主题： 使用SDK（Python）
DIS有哪些功能 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外，DIS还可在云区域同步复制数据，为您提供数据高可用性和数据持久性。 主要模块 DIS分为4个功能模块，各模块功能如下： 服务控制面 完成服务的开通
HH:mm:ss GMT。其中，yyyy表示年份，MM表示月份，dd表示日期，HH表示小时，mm表示分钟，ss表示秒，GMT表示时区。例如：2017/05/09 08:00:00 GMT+08:00。 计费模式：目前仅支持按需付费方式。 操作：当前操作列表支持删除通道、扩缩容、查看授权管
appName = "" #待删除的APP名称 配置好以上参数，执行deleteApp_sample.py文件调用deleteApp_test方法，响应204表示删除成功。 父主题： 使用SDK（Python）
项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 单次请求返回通道列表的最大数量。 最小值：1 最大值：100 缺省值：10 start_stream_name 否 String 从该通道开始返回通道列表，返回的通道列表不包括此通道
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
