检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
schema, 将通道内上传的JSON或CSV数据转换为Parquet格式。 - 源数据类型JSON/CSV==>转储文件格式CarbonData 表3罗列了源数据类型为JSON,CSV,转储至OBS(对应转储文件格式CarbonData)时需要配置的差异化参数,共性参数的配置请参见表1。
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名},您可以从地区和终端节点获取区域和终端节点信息。
ubject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 app_name 是 String APP的名称,用户数据消费程序的唯一标识符,需要先通过创建App接口创建。 checkpoint_type 是 String Checkpoint类型。
OffsetResetStrategy.LATEST.name()); // 默认情况下不需要设置endpoint,会自动使用域名访问;如需使用指定的endpoint,解除如下注释并设置endpoint即可 // props.setProperty(DISConfig
OffsetResetStrategy.LATEST.name()); // 默认情况下不需要设置endpoint,会自动使用域名访问;如需使用指定的endpoint,解除如下注释并设置endpoint即可 // props.setProperty(DISConfig
Checkpoint:消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP:应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。
AT_SEQUENCE_NUMBER: 从指定的sequenceNumber开始获取,需要设置StartingSequenceNumber // AFTER_SEQUENCE_NUMBER: 从指定的sequenceNumber之后开始获取,需要设置StartingSequenceNumber String
项目隔离模型 Checkpoint 消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP 应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。 父主题: 使用前必读
streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
/opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent.sh 如果需要启动多个DIS Agent进程,则新启的Agent进程需要通过-c指定配置文件以及-n参数指定名称。 bash bin/start-dis-agent.sh -c config/anotherAgent
4329 app quota exceeded. APP配额超出限制 请释放APP的配额。 400 DIS.4330 app already exist. 已经存在同名的APP 请修改APP名称并重新创建APP。 400 DIS.4331 app is using. 删除app时,当前app在使用中
创建用户并授权使用DIS 如果您需要对您所拥有的数据接入服务(DIS)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员
GetCheckpointRequest(); // 设置App名称(注: 1.3.0及以前版本使用setAppId,1.3.1及后续版本请使用setAppName getCheckpointRequest.setAppName(appName); getCheckpointRequest
"YOUR_Region" project_id => "YOUR_PROJECT_ID" group_id => "YOUR_APP_ID" client_id => "YOUR_CLIENT_ID" auto_offset_reset =>
轻松地将数据放入通道中,并构建用于数据处理的应用程序。 成本低廉:DIS没有前期成本,您只需要为实际使用的资源付费即可。 并行处理:DIS可让您用多个应用程序同时处理同一个数据通道。例如,您可以让一个应用程序运行实时分析,让其他应用程序从同一个DIS数据通道中将数据发送至对象存储服务(Object
查询通道列表 功能介绍 本接口用户查询当前租户创建的所有通道。 查询时,需要指定从哪个通道开始返回通道列表和单次请求需要返回的最大数量。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams 表1 路径参数 参数 是否必选 参数类型 描述
protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
4329 app quota exceeded. APP配额超出限制 请释放APP的配额。 400 DIS.4330 app already exist. 已经存在同名的APP 请修改APP名称并重新创建APP。 400 DIS.4331 app is using. 删除app时,当前app在使用中