检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用限制 使用DIS前，您需要认真阅读并了解以下使用限制。 建议使用支持的浏览器登录DIS。 Google Chrome：48.0及更高版本 Mozilla FireFox：43.0及更高版本 Internet Explorer：9.0及更高版本 当使用Internet Explorer
备份开关 用户数据转储CloudTable服务失败时，是否将转储失败的数据备份至OBS服务。 开启：是，转储失败的数据备份至OBS服务。 关闭：否，转储失败的数据不备份至OBS服务。 开关默认关闭。 说明： 关闭开关，转储失败的数据会存储在DIS中，并在“生命周期”配置的时间到达时将数据清除。
streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下： 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
使用SDK 使用SDK（Java） 使用Kafka Adapter上传与下载数据 使用SDK（Python）
32-c7d3-4b0f-8cda-ec9eca0cf141"); // 转储MRS通过OBS服务中转，需配置OBS桶名和子文件夹名，此目录也用于保存转储失败的源数据文件。可通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis");
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
使用前必读 概述 调用说明 终端节点 约束与限制 基本概念
登录DIS控制台，查看配置DIS Agent中“DISStream”或“CustomFileStream”通道的监控。有数据上传，表示DIS服务接收正常，Agent安装成功。 Windows服务器上验证DIS Agent 使用文件管理器进入“logs”目录。 使用编辑器打开“dis-agent
of Tags objects 返回结果包含该参数中任意一个标签对应的资源，该参数最多包含10个key，每个key下面的value最多10个，结构体不能缺失，key不能为空或者空字符串。Key不能重复，同一个key中values不能重复。 not_tags 否 Array of Tags
错误即表示开发环境配置成功，此文件的逻辑是读取DIS通道中的数据并统计每个单词出现次数。 DISSparkStreamingExample是一个使用Assign模式的样例，不具备停止再启动时从上一次停止位置开始的能力。使用到的SDK构造方法如下： ConsumerStrategies
#已存在的通道名 参照该文件中的test方法，bodySerializeType="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下：
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_
表示“sendingRecordSize”与“batchSize”配置相同值，避免数据重新上传。 250 retrySize 否 Sink程序调用DIS接口异常时尝试重新调用的次数。 建议使用默认值2147483647，表示会无限重试。 重试时会使用指数退避算法，并等待一段时间，以减轻异常时服务器压力。
D、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 父主题： 使用Kafka Adapter上传与下载数据
D、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 父主题： 使用Kafka Adapter上传与下载数据
Streaming是数据接入服务（DIS）提供的一个sdk，支持将DIS作为数据源创建DStream对接SparkStreaming。 DIS Spark Streaming使用流程如图1所示。 图1 DIS Spark Streaming使用流程 父主题： 使用DIS Spark Streaming下载数据
Connector是数据接入服务（DIS）提供的一个sdk。 DIS Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题： 使用DIS Flink Connector上传与下载数据
将偏移量自动重置为最旧的值; latest将偏移量自动重置为最新的值; none 如果在消费者组中没有发现前一个偏移量，就向消费者抛出一个异常; 其他参数 参数 不支持 - 父主题： 使用Kafka Adapter上传与下载数据
在Linux服务器上停止DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。 cd /opt/dis-agent-X.X.X/ 停止DIS Agent。 bash bin/stop-dis-agent.sh 请确保使用bash执行脚本，否则使用sh、./ 等方式启
下关于AK/SK加密的使用说明。 获取方式请参见检查认证信息。 请根据实际情况配置 encrypt.key 否 用户加密时使用key值。 说明： 如果用户需要使用加密的AK或者SK，则必须配置该参数(自己在agent.yml文件中添加），请务必保证加密时使用的key值和此处写的encrypt
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
