检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
验证DIS Agent Linux服务器上验证DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent的日志目录。 cd /opt/dis-agent-X.X.X/logs 查看日志。 tail -100f dis-agent.log 显示如下信息，表示Agent正常运行。
终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名}，您可以从地区和终端节点获取区域和终端节点信息。 父主题： 使用前必读
量，则需要编辑“/etc/resolv.conf”文件，新增DNS服务器。 示例如下，其中XXX.XXX.XXX.XXX为DNS服务器的IP地址。 # Generated by NetworkManager search openstacklocal nameserver XXX
使用DIS采集增量驾驶行为日志数据 场景简介 数据接入服务（Data Ingestion Service，简称DIS）采集增量驾驶行为日志数据并上传到华为云对象存储服务（Object Storage Service，简称OBS），通过数据湖探索（Data Lake Insight
配置DIS Agent DIS Agent配置文件格式为“YAML”，各配置项与值之间必须以英文格式的“冒号+空格”形式分隔。 agent.yml文件模板可从“dis-agent”压缩包中获取，内容示例如下。具体配置项说明请参见表1。 --- # cloud region id region:
// 设置从DIS通道拉取数据时的初始偏移量: 默认LATEST，从通道内最新上传的记录开始读取; TRIM_HORIZON，从通道内最早的未过期记录开始读取 descriptor.setConsumerStrategy(PartitionCursorTypeEnum.LATEST
获取认证信息 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默
弹出源数据Schema文本框，单击，修改源数据Schema。 图6 修改源数据Schema 当通道中存在转储任务，修改源数据Schema可能导致通道内未转储完成的数据无法被成功转储。 修改完成后，单击“提交”，保存修改结果。单击“放弃”，不对源数据Schema进行修改。 父主题： 管理通道
Authorization header cannot be empty. 使用AKSK生成的签名信息为空 请求头里的签名信息为空，检查是否未生成签名信息。 441 DIS.4102 Incorrectly parsed authorization header. 无法解析签名 请检查请求头里的签名信息。
inSyncReplicas未实现。 Map<String, List<PartitionInfo>> listTopics() 接口 支持 获取所有的通道信息，但PartitionInfo里面的leader, replicas, inSyncReplicas未实现。 void pau
inSyncReplicas未实现。 Map<String, List<PartitionInfo>> listTopics() 接口 支持 获取所有的通道信息，但PartitionInfo里面的leader, replicas, inSyncReplicas未实现。 void pau
自定义SparkStreaming作业 获取DIS Spark Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包，解压之后获得以下目录： “dis-
安装前准备 检查依赖 服务器类型。 Linux x86-64（64位）服务器，常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等。 Windows 7及以上版本。 已安装1.8.0及以上版本的Java。 请参见JRE地址下载JRE。 Linux服务器安装请参考如下步骤：
自定义Flink Streaming作业 获取DIS Flink Connector Demo 这里获取“dis-flink-connector-X.X.X.zip”压缩包。解压“dis-flink-connector-X.X.X.zip”压缩包，解压之后获得以下目录： “hua
弹性伸缩分区 用户在创建通道成功后，随着业务的发展和变化，对通道容量有了新的需求。弹性伸缩分区可以对已经创建成功的通道进行分区扩容或者分区缩容以满足用户这一需求，支持自动和手动扩缩容两种方式。 约束限制 每个通道在一小时内仅可操作实现10次自动扩容、10次手动扩容、1次缩容（包含手动缩容和自动缩容）操作。
状态码 状态码是每次API请求响应的HTTPS状态码，表示本次HTTPS请求服务器返回的状态。 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端，它的部分请求已经被服务器接收，且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。
用户上传数据时设置的partition_key。说明：上传数据时，如果传了partition_key参数，则下载数据时可返回此参数。如果上传数据时，未传partition_key参数，而是传入partition_id，则不返回partition_key。 sequence_number String
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的获取用户Token说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987
同kafka的默认设置(32MB) max.in.flight.requests.per.connection 参数 支持 限制客户端在单个连接上能够发送的未响应请求的个数，默认值为100(Kafka默认为5)可提高发送性能，但可能出现数据顺序不一致的问题。如需严格保证顺序，建议此值设置为1 block
同kafka的默认设置(32MB) max.in.flight.requests.per.connection 参数 支持 限制客户端在单个连接上能够发送的未响应请求的个数，默认值为100(Kafka默认为5)可提高发送性能，但可能出现数据顺序不一致的问题。如需严格保证顺序，建议此值设置为1 block
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
