检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ProcessingSchema object 根据源数据的时间戳和已配置的"partition_format"生成对应的转储时间目录。将源数据的时间戳使用“yyyy/MM/dd/HH/mm”格式生成分区字符串，用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter
Source正常启动，其中“disSource”是用户配置的source名称。 检查DIS Source下载数据是否正常。 向source指向的通道上传数据，如果flume没有报错且sink端能正常获取到数据，表示下载正常。 如果使用步骤 2中示例的配置，则从DIS获取的数据会输出到控制台上，其内容显示为字节数组格式。
用此配置的策略；如果存在有效的Checkpoint，则会从此Checkpoint开始继续消费 // 取值有： LATEST 从最新的数据开始消费，此策略会忽略通道中已有数据 // EARLIEST 从最老的数据开始消费，此策略会获取通道中所有的有效数据
data_type 否 String 源数据类型。 BLOB：存储在数据库管理系统中的一组二进制数据。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 缺省值：BLOB。 枚举值： BLOB
ProcessingSchema object 根据源数据的时间戳和已配置的"partition_format"生成对应的转储时间目录。将源数据的时间戳使用“yyyy/MM/dd/HH/mm”格式生成分区字符串，用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
请按照指示上传对应的块。 400 DIS.4221 Block seq %s is expected 重复传入相同的文件块 请从系统期待的块开始上传。 400 DIS.4222 Block seq %s is expected. 传入的文件块不连续 从系统期待的块开始上传。 400
因数据转储成功后，存储的目录结构取决于源数据的时间戳和时间目录格式定义的年月日层级。本示例中，时间目录格式精确到日，所以数据最终存储目录结构为“桶名称/转储文件目录/2010/10/12”。 源数据时间戳 时间戳的属性名。 说明： 请输入您待上传的源数据中定义的时间戳对应的字段名称。 时间戳的格式，从下拉框中选择。
timed out 可能原因：服务器连接DIS网关超时。 处理方法：检查Agent所在日志服务器的网络配置是否可以连接公网。 查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件，日志中会输出类似如下日志，表示解析了[N1行(B1字节数)/N2文件(B2字节数)]，成功上传了[N3行/N4文件]。
文件内没有错误即表示开发环境配置成功，此文件的逻辑是读取DIS通道中的数据并统计每个单词出现次数。 DISSparkStreamingExample是一个使用Assign模式的样例，不具备停止再启动时从上一次停止位置开始的能力。使用到的SDK构造方法如下： ConsumerStrategies
约束与限制 您能创建的通道和实例的数量与配额有关系，如果您想查看服务配额、扩大配额，具体请参见服务配额。 详细的限制请参见具体API的说明。 父主题： 使用前必读
用describeTransferTask的方法查询指定的转储任务详情。 1 DescribeTransferTaskResult result = dic.describeTransferTask(request); 查询转储任务的返回信息如下。 1 2 3 4 5
API概览 DIS提供的接口为符合RESTful API设计规范的自研接口。 通过DIS的自研接口，您可以使用DIS的如API说明所示的功能。
参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK查询指定通道的转储任务列表。 1 2 3 4 ListTransferTasksRquest request = new ListTransferTasksRquest(); // 指定待查询的通道名称
限最小化的安全管控要求。 如表1所示，包括了DIS的所有系统权限。其中“依赖关系”表示该系统权限对其它权限的依赖。由于华为云各服务之间存在业务交互关系，数据接入服务的权限依赖其他服务的权限实现功能。因此给用户授予数据接入服务的权限时，需要同时授予依赖的权限，数据接入服务的权限才能生效。
单击需要查看的通道名称。进入所选通道的管理页面。 单击“源数据类型”后的，从下拉框中选择对应的源数据类型，可修改创建通道时已设置的源数据类型。或者选择待修改源数据类型通道对应的操作列，选择“更多 > 变更源数据类型”，弹出变更源数据类型对话框，修改创建通道时已设置的源数据类型。
兼容性 支持的JDK版本：1.8.0及以上版本。 支持的Python版本：2.7及以上版本。 父主题： 相关资源
使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。 批量上传流式数据的主体代码如下：
表1所示。其中，通道基本信息的参数说明请参见表1。 表1 DIS监控信息参数说明 参数 说明 时间范围 选择查看监控信息的时间段，可查看所选时间范围内的监控信息。 取值范围： 1h 3h 12h 可自定义查看监控信息的时间段。 单击“自定义”页签后的，分别设置开始时间和结束时间。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
