检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 转储任务类型。 OBS:转储到OBS MRS:转储到MRS DLI:转储到DLI CLOUDTABLE:转储到CloudTable DWS:转储到DWS 缺省值:NOWHERE 枚举值: DLI dli_destination_descriptor 否 DliDesti
使用“WinSCP”工具将“huaweicloud-sdk-dis-x.x.x.zip”上传至Linux系统任一目录。 x.x.x表示DIS SDK包的版本号。 使用“PuTTY”工具登录Linux系统,进入到“huaweicloud-sdk-dis-x.x.x.zip”所在目录,执行如下命令,获取DIS SDK压缩包的校验码。
变更分区数量 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname = "" #已存在的running状态通道名 target_partition_count =”3” #变更后的数量值 配置好以上参数,执行change
变更分区数量 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 1
obs_destination_description OBSDestinationDescriptorRequest object 转储目的地为OBS的参数列表。 dws_destination_descripton DWSDestinationDescriptorRequest object
cloudtable_destination_descriptor 否 CloudtableDestinationDescriptorRequest object 转储目的地为CloudTable的参数列表。 表4 CloudtableDestinationDescriptorRequest 参数 是否必选
验证Plugin 验证DIS Source 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis source的配置文件 可基于Flume自带的flume-conf.properties.template修改,文件样例如下所示: agent.sources =
枚举值: DWS dws_destination_descriptor 否 DWSDestinationDescriptorRequest object 转储目的地为DWS的参数列表。 表4 DWSDestinationDescriptorRequest 参数 是否必选 参数类型 描述 task_name
OBSDestinationDescriptorRequest obsDestinationDescriptorbody = new OBSDestinationDescriptorRequest(); obsDestinationDescriptorbody.withTaskName("newtask")
"dli_destination_description":{ "agency_name":"dis_admin_agency", "file_prefix":"dli", "obs_bucket_path":"dis.test.not
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。 已开通企业项目服务的用户,可以使用企业项目管理华为云上的云服务资源。 绑定企业项目 用户可以在创建通道时为通道选择所属的企业项目,从而将DIS通道与企业项目进行关联,详情请参见步骤1:开通D
枚举值: MRS mrs_destination_descriptor 否 MRSDestinationDescriptorRequest object 转储目的地为MRS的参数列表。 表4 MRSDestinationDescriptorRequest 参数 是否必选 参数类型 描述 task_name
添加OBS转储任务,并设置任务名称 OBSDestinationDescriptorRequest descriptor = new OBSDestinationDescriptorRequest(); descriptor.setTransferTaskName(taskName);
// 配置待更新的转储任务名称 OBSDestinationDescriptorRequest descriptor = new OBSDestinationDescriptorRequest(); descriptor.setTransferTaskName(taskName);
与其他服务的关系 介绍DIS与其他服务的关系。 对象存储服务(Object Storage Service,简称OBS) 在用户购买接入通道时选择数据转储至OBS,用户上传的数据会存储至对象存储服务(OBS)。 统一身份认证服务(Identity and Access Management,简称IAM)
Sink程序调用DIS接口异常时尝试重新调用的次数。 建议使用默认值2147483647,表示会无限重试。 重试时会使用指数退避算法,并等待一段时间,以减轻异常时服务器压力。 2147483647 resultLogLevel 否 每次调用DIS接口后输出最新sequenceNumber到日志的级别。 有效值与级别由低到高为
通道唯一标识符。 rules Array of PrincipalRule objects 通道授权信息列表。 表4 PrincipalRule 参数 参数类型 描述 principal String 授权用户ID。 principal_name String 授权用户名。如果授权给租
ken的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 stream_id 是 String 通道唯一标识符。 principal_name 是 String 授权用户。 如果授权给指定租户,格式为:domainName.*;如果授权给租户下的指定子用户,则格式为:domainName