检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
record1 = {"data": "xxx","partition_id": partition_id} #可写入多条数据,数据格式如record1所示,每写一条数据使用下面的append方法传入records中。
record1 = {"data": "xxx","partition_id": partition_id} #可写入多条数据,数据格式如record1所示,每写一条数据使用下面的append方法传入records中。
说明: “isFileAppendable”配置为“false”时该配置项生效。 never fileSuffix 否 文件内容上传完成之后添加的文件名后缀。
运行程序 程序开发完成后,右键选择“Run As > 1 Java Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。
运行程序 程序开发完成后,右键选择“Run As > 1 Java Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。
枚举值: snappy gzip zip tags 否 Array of Tag objects 通道标签列表。 sys_tags 否 Array of SysTag objects 通道企业项目列表。
GET https://iam.cn-north-4.myhuaweicloud.com/v1/{project_id}/connections Content-Type: application/json X-Auth-Token: ABCDEFJ....
EL表达式示例: 源数据: {"name":"Andy","city":"","time":1556323141582} 转储文件目录配置如下: dis/basePath/app_key_p=${name} 则数据的最终存储目录结构为: {$桶名称}/dis/basePath/app_key_p
compression_format String 数据的压缩类型,目前支持: snappy gzip zip 默认不压缩。
e.getMessage(), e); } catch (Exception e) { LOGGER.error(e.getMessage(), e); } 运行程序 右键选择“Run As > 1 Java Application
请根据实际情况配置 group.id 是 DIS App名称,用于标识一个消费组,由英文字符、数字、-、_组成。 请根据实际情况配置 配置DIS Sink 表2 DIS Sink配置项说明 配置项 是否必填 说明 默认值 channel 是 Flume channel的名称。
${region}.cloud.com agent.sources.dissource.group.id = YOU_APP_NAME # 定义 Channel agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity
(Array(streamName), params) streamName为DIS通道名称 params为参数Map集合,至少包括endpoint(DIS网关地址),region(区域),ak(用户ak),sk(用户sk),projectId(用户项目ID),group.id(app
运行程序 右键选择“Run As > 1 Java Application”运行程序,若程序运行成功,可以在控制台查看到类似如下信息: 1 2 3 4 5 6 7 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig - get