检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。 请根据实际情况配置 region 是 将数据上传到指定Region的DIS服务。 cn-north-1 project_id 是 用户所属区域的项目ID。 获取方式请参见检查认证信息。 请根据实际情况配置
partition, long offset) 接口 支持 给分区设置指定的offset void seekToBeginning(Collection<TopicPartition> partitions) 接口 支持 分区的offset设置为最旧的值 void seekToEnd(Colle
ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题: 使用DIS Flink Connector上传与下载数据
检查DIS通道 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。
检查DIS通道 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用
DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。 父主题:
DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
设置告警规则 操作场景 通过设置DIS通道告警规则,用户可自定义监控目标与通知策略,及时了解DIS通道运行状况,从而起到预警作用。 设置DIS通道的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置DIS通道告警规则的具体方法。
信息,将DNS服务器地址添加到弹性云服务器对应的子网中。 操作步骤 使用注册账户登录弹性云服务控制台,进入“云服务器控制台”页面。 在页面中单击用户将要使用的弹性云服务器,查看云服务器详情。 在云服务器详情页面中,单击“网卡”,打开相应的下拉菜单,查看弹性云服务器的子网名称。 在
单击通道名称,进入所选通道的管理页面。 单击“通道调试”,选择对应分区后的上传或下载操作,进行数据的上传和下载。 图1 上传下载数据 单击“上传”,在上传文本框中输入上传内容后,确认上传。 系统提示上传数据成功,并在界面回显当前数据上传成功记录的序列号。 图2 上传数据 单击“下载”,选择游标类型并输入对应的
成并开始上传。 请根据实际文件变动的频率配置此值,避免文件未完成已开始上传的情况。 若文件上传后有变动,则会重新全量上传。 单位:毫秒 说明: “isFileAppendable”配置为“false”时该配置项生效。 5000 deletePolicy 否 文件内容上传完成之后的删除策略。
DIS通道的上传和下载权限。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称,进入所选通道的管理页面。 选择“授权管理”,单击“添加授权策略”, 选择授权模式,再在“被授权用户”文本框中,设置用户信息。 支持通配符"*",表示授权所有账号;
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
然后获取SDK和样例工程,并导入到用户的开发环境中。 步骤3:发送数据到DIS 基于数据上传业务开发应用程序,并运行程序,实现数据上传功能。数据上传过程中可在Console控制台查看数据上传通道相关信息。 步骤4:从DIS获取数据 基于数据下载业务开发应用程序,并运行程序,实现数据下载功能。
然后获取SDK和样例工程,并导入到用户的开发环境中。 步骤3:发送数据到DIS 基于数据上传业务开发应用程序,并运行程序,实现数据上传功能。数据上传过程中可在Console控制台查看数据上传通道相关信息。 步骤4:从DIS获取数据 基于数据下载业务开发应用程序,并运行程序,实现数据下载功能。
启动数据上传程序 程序开发完成后,右键选择“Run As > 1 Java Application”运行程序,如图3所示。 图3 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。 在CloudTable中查看上传数据 在HBase
1次缩容(包含手动缩容和自动缩容)操作。 进行弹性伸缩分区后,有如下注意事项: 上传数据时,不建议设置数据的PartitionKey,DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,
配额说明 创建通道应用的基础设施如下: 普通通道分区 高级通道分区 创建IoT实例应用的基础设施如下: 弹性云服务器 虚拟私有云VPC 弹性负载均衡ELB 弹性公网IP 其配额查看及修改请参见关于配额。
程序开发完成后,右键选择“Run As > 1 Java Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。 14:40:20.090 [main] INFOcom.bigdata.dis.sdk
程序开发完成后,右键选择“Run As > 1 Java Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。 14:40:20.090 [main] INFOcom.bigdata.dis.sdk