检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Ingestion Service Software Development Kit)是对DIS服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用DIS SDK提供的接口函数即可实现使用DIS服务业务能力的目的。 父主题: 简介
与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。 请根据实际情况配置 region 是 将数据上传到指定Region的DIS服务。
与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同,DISKafkaProducer的客户端与服务端通过Rest API实现,而KafkaProducer是基于TCP协议实现,在接口兼容上有如下差异。 表1 适配说明
与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同,DISKafkaProducer的客户端与服务端通过Rest API实现,而KafkaProducer是基于TCP协议实现,在接口兼容上有如下差异。 表1 适配说明
用程序日志的指标和报告,因为数据被流入而不是等待收到批量数据。 实时数据分析:通过数据接入服务,可以运行实时通道数据分析。例如,可以通过API把数据实时添加到DIS数据通道中,并让您的DIS应用程序实时运行分析,从而在数分钟内从数据中获得重要见解,而无需数小时或数天时间。 复杂的
资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API使用资源时,您必须指定其区域终端节点。有关华为云的区域和终端节点的更多信息,请参阅地区和终端节点。
注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目ID。 获取endpoint 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endp
partitionId = "0"; // 配置下载数据序列号 String startingSequenceNumber = "0"; // 配置下载数据方式 String cursorType = PartitionCursorTypeEnum.AT_SEQUENCE_NUMBER.name();
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,或者使用交互方式式传参,确保安全; // 本示例以交互式方式。 System.out.print("Enter your Access Key: ");
resultLogLevel 否 每次调用DIS数据发送接口后的结果日志级别。 OFF:日志中不输出每次接口调用的结果。 INFO:每次接口调用的结果以INFO级别输出到日志。 WARN:每次接口调用的结果以WARN级别输出到日志。 ERROR:每次接口调用的结果以ERROR级别输出到日志。 INFO
”页面进行创建,参见图3。 图1 创建Schema1 图2 创建Schema2 图3 创建Schema3 创建源数据Schema(导入文件方式) 找到创建源数据Schema入口后,按照如下方法创建源数据Schema: 单击“源数据Schema”后的“导入文件”。 在左侧文本框中输
sh -c config/anotherAgent.yml -n anotherAgent 请确保使用bash执行脚本,否则使用sh、./ 等方式启动脚本,可能由于系统默认shell的差异导致启动失败。 显示类似如下信息,表示Agent启动成功。 Success to start DIS
k_python_demo。 操作步骤 huaweicloud-python-sdk-dis已发布到 PyPi 之后,打开CMD,通过以下方式安装:pip install huaweicloud-python-sdk-dis。 导入pycharm项目。 打开pycharm。选择“File
mm表示分钟,ss表示秒,GMT表示时区。例如:2017/05/09 08:00:00 GMT+08:00。 计费模式:目前仅支持按需付费方式。 操作:当前操作列表支持删除通道、扩缩容、查看授权管理、查看转储任务和变更源数据类型的操作。 父主题: 管理通道
时间。 其中,结束时间不能晚于当前的系统时间。 开始时间与结束时间的差值不超过72h。 分区监控 分区编号 流分区编号,默认从0开始。取值方式:从下拉框选择。 该分区的总输入/输出流量(KB/秒) 用户指定时间范围内,指定分区的输入/输出流量。单位:KB/s。 该分区的总输入/输出记录数(个/秒)
</dependency> 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。
</dependency> 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。
确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。
Insight,简称DLI)。 服务维护 负责服务的安装、升级。 负责服务的配置、巡检、日志收集与分析、运行监控。 负责服务工单处理。 用户SDK 提供Java接口,供用户上传与下载数据。 提供数据加密功能。 关键能力 无限扩展:DIS数据通道的吞吐量每小时可从数MB扩展到数TB,PUT记录每秒钟可从数千次扩展到数百万。
// 配置DWS集群信息:集群名称、集群ID、数据库等信息。可通过数据仓库服务(简称DWS)控制台创建和查询集群,并通过客户端或其他方式创建数据表 descriptor.setDwsClusterName("dis_test"); descriptor.setDwsClus