检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装DIS Flume Plugin前准备 检查依赖 确认Flume已经安装并能正常运行。 确认Flume版本为1.4.0及以上版本。进入Flume安装目录,执行如下命令查看Flume版本。 $ bin/flume-ng version | grep Flume 确认使用的Java版本为1
cn-east-2.dis。然后选择专线所在的VPC和子网即可。 图1 购买终端节点 创建终端节点成功之后,会自动分配节点IP,使用此节点IP访问DIS服务即可。 图2 查看节点IP 父主题: 转储相关问题
查询Checkpoint 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。
源数据Schema作为通道下特定转储任务进行数据转换的依据,如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema,也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。
变更分区数量 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 1
get("HUAWEICLOUD_SDK_SK"), projectid='', region='',bodySerializeType='protobuf') 配置参数如下: 1 streamname="dis-test1" #已存在的通道名 参照该文件中的test方法,bodySerializeT
id必须唯一,如果不配置client.id, dis kafka consumer会生成一个uuid作为client.id。 key.deserializer 参数 支持 含义与kafka设置相同,但默认值为StringDeserializer (kafka必须配置)。 value.deserializer
id必须唯一,如果不配置client.id, dis kafka consumer会生成一个uuid作为client.id。 key.deserializer 参数 支持 含义与kafka设置相同,但默认值为StringDeserializer (kafka必须配置)。 value.deserializer
通道的源数据类型:缺省值:BLOB createStreamRequest.setDataType(DataTypeEnum.BLOB.name()); 配置“CreateStreamRequest”对象之后,通过调用createStream的方法创建通道。 1 dic.createStream
准备环境 已安装python2.7或以上版本,配置好python环境变量。 已安装pycharm。 父主题: 使用SDK(Python)
ListTransferTasksRquest(); // 指定待查询的通道名称 request.setStreamName(streamName); 配置“ListTransferTaskRequest”对象之后,通过调用listTransferTask的方法查询指定通道的转储任务列表。 1
ken的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 stream_id 是 String 通道唯一标识符。 principal_name 是 String 授权用户。 如果授权给指定租户,格式为:domainName.*;如果授权给租户下的指定子用户,则格式为:domainName
通道唯一标识符。 rules Array of PrincipalRule objects 通道授权信息列表。 表4 PrincipalRule 参数 参数类型 描述 principal String 授权用户ID。 principal_name String 授权用户名。如果授权给租
内容导航 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DIS SDK提供的接口函数进行二次开发。 章节 内容 DIS SDK能做什么 内容导航 简要介绍DIS的概念和DIS SDK的概念。 SDK下载 兼容性 如何校验软件包完整性? 介绍使用DIS SDK进行二次开发过程中涉及到的资源信息。
SDK加密上传数据,读取数据也需要使用JAVA SDK配置相同的密钥。 使用配置文件初始化DIS SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk:用户在IAM中创建的AK/SK。
当使用stream_name没有找到对应通道且stream_id不为空时,会使用stream_id去查找通道。 说明: 上传数据到被授权的通道时,必须配置此参数。 records 是 Array of PutRecordsRequestEntry objects 待上传的记录列表。 表4 P
.withRegion("xxxx") .build(); // 配置通道名称 String streamName = "xxxx"; // 配置上传的数据 String message = "hello world."; PutRecordsRequest
查看。 compression_format String 数据的压缩类型,目前支持: snappy gzip zip 默认不压缩。 枚举值: snappy gzip zip csv_properties CSVProperties object CSV 格式数据的相关属性,比如分隔符
也可选中待查看通道名称对应操作列,选择“更多”下拉列表中的“查看转储任务”。 单击“添加转储任务”按钮,在弹出的“添加转储任务”页面配置转储相关配置项。具体参数解释请参见转储至OBS~~转储至MRS。 每个通道最多可创建5个转储任务。 单击“立即创建”。 在对应“任务名称”的操作列单击“更多