检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用容器化改造介绍 应用容器化改造流程 步骤1：对应用进行分析 更多 DIS Agent相关问题 Agent如何配置监听多目录或文件？ Agent如何配置递归监听一个目录？ Agent如何配置代理？ 操作系统相关 应用容器化改造介绍 应用容器化改造流程 步骤1：对应用进行分析 步骤2：准备应用运行环境
TB数据。 云服务实现了在多地域部署基础设施，具备高度的可扩展性和可靠性，用户可根据自身需要指定地域使用DIS服务，由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外，DIS
id必须唯一，如果不配置client.id, dis kafka consumer会生成一个uuid作为client.id。 key.deserializer 参数 支持 含义与kafka设置相同，但默认值为StringDeserializer (kafka必须配置)。 value.deserializer
id必须唯一，如果不配置client.id, dis kafka consumer会生成一个uuid作为client.id。 key.deserializer 参数 支持 含义与kafka设置相同，但默认值为StringDeserializer (kafka必须配置)。 value.deserializer
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
使用SDK（Java） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
Service，简称DWS）、数据湖探索（Data Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X
“所属区域”为“全局服务”，“项目”为“对象存储服务”对应的“策略”包含“Tenant Administrator”。如果已经创建过委托，可以使用IAM服务提供的查询委托列表接口，获取有效可用的委托名称。取值范围：长度不超过64位，且不可配置为空。如果有在Console控制台使用转储任务，会
使用SDK（Python） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
Service，简称DWS）、数据湖探索（Data Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为步骤 3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X
若请求失败，则会返回错误码及对应的错误信息说明，详细错误码信息请参考错误码。 创建带数据Schema的通道 您还可以为通道配置Schema，在使用DIS转储到其它服务时，可以根据通道配置的Schema来完成映射，示例如下。 Token认证，具体操作请参考Token认证。 发送“POST htt
10MB/秒，单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小） 目前每个租户默认Partition配额范围为1～50个，租户可以根据需要配置Partition个数。 若需扩大配额，请提交工单增加配额，具体上限需要根据集群的实际负载情况进行计算。 父主题： 一般性问题
也可选中待查看通道名称对应操作列，选择“更多”下拉列表中的“查看转储任务”。 单击“添加转储任务”按钮，在弹出的“添加转储任务”页面配置转储相关配置项。具体参数解释请参见转储至OBS~~转储至MRS。 每个通道最多可创建5个转储任务。 单击“立即创建”。 在对应“任务名称”的操作列单击“更多
在控制台页面中选择“服务列表 > 大数据 > 数据接入服务 DIS”。 单击“购买接入通道”，进入“购买接入通道”页面。 “高级配置”页签，选择“现在配置”，展开标签页。 输入新添加标签的键和值。 系统支持添加多个标签，最多可添加10个标签，并取各个标签的交集，对目标通道进行搜索。
和故障分析。同时大量小文本文件可合并转储为大文件，提高数据处理性能。 图3 场景示例图 IOT分析应用 通过在车载设备中集成IoTDA，并配置数据转发到DIS，实时上传车辆状态、监控数据，采用云上数据分析系统进行实时分析、检测，动态掌握设备状况，实现汽车故障提前感知。 图4 场景示例图
持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题： 使用Agent上传数据
gstash。 DIS Output用于将Logstash中的数据上传到DIS服务。 DIS Logstash Plugin安装流程如图1所示。 图1 安装流程图 父主题： 使用DIS Logstash Plugin上传与下载数据
DIS Sink用于将Flume Channel中的数据上传到DIS服务。 DIS Flume Plugin安装流程如图1所示。 图1 DIS Flume Plugin安装流程 父主题： 使用DIS Flume Plugin上传与下载数据
ema： 单击“源数据Schema”后的“直接创建”。 配置“属性名”和“数据类型”后，单击“添加”，如图4所示，添加根节点。 图4 直接创建源数据Schema-1 根节点添加完成后，选中已创建的根节点，按照同样的方法，配置“属性名”和“数据类型”，添加子节点。 图5 直接创建源数据Schema-2
含义与kafka设置相同，但默认值为StringSerializer (kafka必须配置) value.serializer 参数 支持 含义与kafka设置相同，但默认值为StringSerializer (kafka必须配置) linger.ms 参数 支持 含义与kafka设置相同，但默认
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
