检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”、 ”\”、 ”-”、 ”_”、 ”~”缺省值:”.” obs_backup_bucket_path 否 String 用户数据转储CloudTable服务失败时,可选择将转储失败的数据备份至OBS服务,此参数为OBS服务的桶名称。 backup_file_prefix 否 String
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
默认配置为空。 retry_duration 否 String 用户数据导入DWS集群失败的重试失效时间。超出此配置项配置的时间,转储DWS失败的数据将备份至“OBS桶/ file_prefix/dws_error”目录下。取值范围: 0~7200。单位:秒。默认配置为1800。
schema。 在右侧文本框中单击,可修改已生成的Avro schema。 仅当“Schema配置开关”配置为“开启”:时需要配置此参数。 企业项目 配置通道所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。 企业项目是一种云资源管理方式,企业项目管理服务提
可能原因:DIS网关将服务器IP加入黑名单,导致请求被拦截。列入黑名单通常由于多次使用错误的配置重复调用DIS接口导致。 处理方法:停止Agent进程,修改配置DIS Agent中“agent.yml”配置文件的配置。停止Agent30分钟后重启Agent。 UnknownHttpStatusCodeException:
登录DIS控制台,等待2分钟后,查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条),表示DIS Source运行成功。 验证DIS Sink 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis sink的配置文件 可基于Flume自带的flume-conf
// 配置通道名称 String streamName = "myStream"; // 配置数据下载分区ID String partitionId = "0"; // 配置下载数据序列号 String startingSequenceNumber = "0"; // 配置下载数据方式
SDK加密上传数据,读取数据也需要使用JAVA SDK配置相同的密钥。 使用配置文件初始化DIS SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk:用户在IAM中创建的AK/SK。
TB数据。 云服务实现了在多地域部署基础设施,具备高度的可扩展性和可靠性,用户可根据自身需要指定地域使用DIS服务,由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外,DIS
符。 默认配置为空。 retry_duration 否 String 用户数据导入DLI失败的失效重试时间。重试时间超过该配置项配置的值,则将转储失败的数据备份至“OBS桶/ file_prefix/dli_error”目录下。取值范围:0~7200。单位:秒。默认配置为1800
名称对应操作列,选择“更多”下拉列表中的“查看转储任务”。 单击“添加转储任务”按钮,在弹出的“添加转储任务”页面配置转储相关配置项。具体参数解释请参见转储至OBS~~转储至MRS。 每个通道最多可创建5个转储任务。 单击“立即创建”。 在对应“任务名称”的操作列单击“更多 >
准备环境 配置pom.xml文件 如果已有maven工程,在pom.xml中使用如下依赖即可。 <dependency> <groupId>com.huaweicloud.dis</groupId> <artifactId>huaweicloud-dis-kafk
build(); // 配置通道名称 String streamName = "streamName"; // 配置数据下载分区ID String partitionId = "shardId-0000000000"; // 配置下载数据序列号 String
和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。 图3 场景示例图 IOT分析应用 通过在车载设备中集成IoTDA,并配置数据转发到DIS,实时上传车辆状态、监控数据,采用云上数据分析系统进行实时分析、检测,动态掌握设备状况,实现汽车故障提前感知。 图4 场景示例图
认禁止Administrator用户,Internet Explorer在安装时自动选择其他用户如System用户安装,从而导致Internet Explorer无法打开登录页面。请使用管理员身份重新安装Internet Explorer 9.0或更高版本(建议),或尝试使用管理员身份运行Internet
若请求失败,则会返回错误码及对应的错误信息说明,详细错误码信息请参考错误码。 创建带数据Schema的通道 您还可以为通道配置Schema,在使用DIS转储到其它服务时,可以根据通道配置的Schema来完成映射,示例如下。 Token认证,具体操作请参考Token认证。 发送“POST htt
在控制台页面中选择“服务列表 > 大数据 > 数据接入服务 DIS”。 单击“购买接入通道”,进入“购买接入通道”页面。 “高级配置”页签,选择“现在配置”,展开标签页。 输入新添加标签的键和值。 系统支持添加多个标签,最多可添加10个标签,并取各个标签的交集,对目标通道进行搜索。
自动创建委托 用户创建DIS通道,选择将数据转储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MRS)集群、数据仓库服务(Data Warehouse Service,简称DWS)或数据湖探索(Data Lake Insigh