检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的将数据放入通道中,并构建用于数据处理的应用程序。 成本低廉:DIS没有前期成本,您只需要为实际使用的资源付费即可。 并行处理:DIS可让您用多个应用程序同时处理同一个数据通道。 安全可靠:DIS可将数据保留24~72小时,以防数据在应用程序故障、个别机器故障或设施故障时丢失。
code.test.com:443 Content-Type 发送的实体的MIME类型。推荐用户默认使用application/json,有其他取值时会在具体接口中专门说明。 是 application/json Content-Length 请求body长度,单位为Byte。 否 3495
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 3 streamname = "" #通道名称 appName="xx" # APP名称(APP是已存在状态) partitionId="shardId-0000000000" #分区的唯一标识符 par
cn-north-4.myhuaweicloud.com/v1/{project_id}/connections Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 3 4 5 streamname = "" #通道名称 appName="xx" # APP名称(APP是已存在状态) partitionId="shardId-0000000000" #分区的唯一标识符。 seqNumber="0"
通道,防止因数据生产者出现故障导致的数据损失。例如,系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。 实时指标和报告:实时从DIS数据通道数据提取指标并生成报告。例如,数据接入服务应用程序可以处理系统和应用程序日志的指标和报告,因为数据被流入而不是等待收到批量数据。
更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint 变更分区数量 父主题: 使用SDK
添加 单击左上角的“添加标签”,在弹出的“添加标签”窗口,输入新添加标签的键和值,并单击“确认”。 修改 单击标签所在行“操作”列下的“编辑”,在弹出的“编辑标签”窗口,输入修改后标签的值,并单击“确认” 删除 单击标签所在行“操作”列下的“删除”,如果确认删除,在弹出的“删除标签”窗口,单击“确认”。
因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 404 NotFound 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。 405 MethodNotAllowed 请求中带有该资源不支持的方法。 建议直接修改该请求,不要重试该请求。 406 Not
Checkpoint:消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP:应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。
虚拟私有云子网页面。 单击“网关和DNS”中“DNS服务器地址”后的“修改”按钮,弹出“修改DNS服务器地址”窗口。 将DNS服务器地址修改为所需的DNS服务器地址,然后单击“确定”,保存DNS服务器地址的修改。 重启弹性云服务器,查看“/etc/resolv.conf”文件的内
"YOUR_Region" project_id => "YOUR_PROJECT_ID" group_id => "YOUR_APP_ID" client_id => "YOUR_CLIENT_ID" auto_offset_reset =>
/flume-conf.properties.template,其中{FLUME_HOME}是Flume的安装路径,用户可以基于此配置文件修改。 在配置项中,需要配置用户的SK,这属于敏感信息,如需加密,可以按如下步骤: 进入dis-flume-plugin/目录 cd /dis-flume-plugin
dk\demo”路径下“ProducerDemo.java”文件。 运行程序 程序开发完成后,右键选择“Run As > 1 Java Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。
X.zip ”最新版本压缩包提供了示例工程,您可以在本地设备上使用开发工具(如Eclipse)编译运行示例工程,或以示例工程为基础开发您的应用。示例工程代码路径:“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”。 示例代码
dk\demo”路径下“ProducerDemo.java”文件。 运行程序 程序开发完成后,右键选择“Run As > 1 Java Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。
弹出源数据Schema文本框,单击,修改源数据Schema。 图6 修改源数据Schema 当通道中存在转储任务,修改源数据Schema可能导致通道内未转储完成的数据无法被成功转储。 修改完成后,单击“提交”,保存修改结果。单击“放弃”,不对源数据Schema进行修改。 父主题: 管理通道
话框。 根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数量”,“预估所需分区数量”选项框中将显示所需的分区数量,此值不可修改。 说明: 所需分区计算公式: 按流量计算所需写分区数:(所得数值需向上取整后作为分区数) 普通通道:平均记录大小*(1+分区预留比例20
服务的Endpoint可从终端节点Endpoint获取。 准备DIS应用开发环境 具体操作请参见准备DIS应用开发环境。 编写发送数据到DIS的应用程序 准备数据样例。 修改样例代码。 样例工程为准备DIS应用开发环境中下载的“huaweicloud-sdk-dis-java-X
话框。 根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数量”,“预估所需分区数量”选项框中将显示所需的分区数量,此值不可修改。 说明: 所需分区计算公式: 按流量计算所需写分区数:(所得数值需向上取整后作为分区数) 普通通道:平均记录大小*(1+分区预留比例20