检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
est(); descriptor.setTransferTaskName(taskName); // 配置DWS集群信息:集群名称、集群ID、数据库等信息。可通过数据仓库服务(简称DWS)控制台创建和查询集群,并通过客户端或其他方式创建数据表 descriptor.setDw
创建数据库 在Console页面上方菜单栏中单击“产品”,单击“大数据”分类中的“数据湖探索 DLI”。 创建demo数据库,在DLI控制台总览页面,选择“SQL作业”,单击“创建作业”,进入SQL作业编辑器。 在SQL作业编辑器左侧,选择“数据库”,单击创建数据库。 “de
其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 1 2 3 4 5 6 7 8 9 GetCheckpointRequest getCheckpointRequest = new
其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 // 目标分区数量 int targetPartitionCount
查询通道详情 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK查询指定通道信息。 1 2 3 4 String streamName = "myStream"; DescribeStreamRequest describeStreamRequest
数据接入服务-成长地图 | 华为云 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS
ain\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo.java”文件。 运行程序 出现类似信息表示下载数据成功: 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig - get
ain\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo.java”文件。 运行程序 出现类似信息表示下载数据成功: 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig - get
通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 - DLI数据库 单击“选择”,在“选择DLI数据库”窗口选择一个数据库。 此配置项仅支持选择,不可手动输入。 - DLI数据表 单击“选择”,在“选择DLI数据表”窗口选择一个数据
通道列表简介 通道列表中可查看当前用户的已创建的所有通道信息。通道信息包括: 名称/ID:用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 状态:通道的运行状态。 通道类型:普通和高级。 普通通道单分
您可以使用以下方法初始化DIS SDK客户端实例。其中,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参考获取认证信息。 cli = disclient(endpoint='**your-endpoint**', // 认
功能说明 本节定义了数据接入服务上报云监控的监控指标的命名空间,监控指标列表和维度,用户可以通过云监控检索数据接入服务产生的监控指标和告警信息。 命名空间 SYS.DAYU 监控指标 DIS通道支持的监控指标如表1所示。 表1 DIS的监控指标 指标ID 指标名称 指标含义 取值范围
SDK客户端实例,优先选择使用代码进行初始化。其中,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参考获取认证信息。 使用代码初始化DIS SDK客户端实例。 1 2 3 4 5 6 7 8 9 10 11 12 13 // 创建DIS客户端实例
设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
Agent的日志目录。 cd /opt/dis-agent-X.X.X/logs 查看日志。 tail -100f dis-agent.log 显示如下信息,表示Agent正常运行。 Agent: Startup completed in xx ms Agent运行异常,常见问题原因和处理方法如下:
period. %s 查询监控信息的startTime无效 请传入有效的时间戳。 400 DIS.4204 The monitoring period cannot be longer than 7 days. 仅允许查询最近7天内的监控信息 请查询最近7天内的监控信息。 400 DIS.4205
取值范围: 整型值 unlimited(无限制) 缺省值为0,有错误信息立即返回。 error_table_name String 用于记录数据格式错误信息的错误表表名。并行导入结束后查询此错误信息表,能够获取详细的错误信息。 表9 MRSDestinationDescriptorRequest