检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
搜索目标通道 在现有通道列表页,按标签键或标签值搜索目标通道。 登录管理控制台。 选择“EI企业智能 > 数据接入服务”。 单击现有通道列表右上角的“标签搜索”,展开查询页。 输入待查询通道的标签。 标签键或标签值可以通过下拉列表中选择,当标签键或标签值全匹配时,系统可以自动查询到目
在除中国大陆以外的亚太地区有业务的用户,可以选择“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“南非-约翰内斯堡”区域。 在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 如何选择可用区? 是否将资源放
MRS集群 单击“选择”,在“选择集群”窗口选择一个MRS集群。仅支持转储至非Kerberos认证的MRS集群。 此配置项仅支持选择,不可手动输入。 - HDFS路径 单击“选择”,在“选择HDFS文件路径”窗口按层级选择所需HDFS文件所在路径。 此处路径仅支持选择,不可手动输入。
载,不支持上传。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称,进入所选通道的管理页面。 单击“通道调试”,选择对应分区后的上传或下载操作,进行数据的上传和下载。 图1 上传下载数据 单击“上传”,在上传文本框中输入上传内容后,确认上传。
SON或CSV时可配置该参数。 通过单击或来关闭或开启Schema配置开关。 说明: 若创建通道时,没有同时创建数据Schema,可待通道创建成功后。到通道的管理页面创建数据Schema,详情请参见管理源数据Schema。 “源数据类型”为“JSON”和“CSV”时,可选择创建数据Schema。
储任务,数据将自动传输到您选择的目标。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择通道管理。 单击需要查看的通道名称,进入所选通道的管理页面,选择“转储管理”页签。也可选中待查看通道名称对应操作列,选择“更多”下拉列表中的“查看转储任务”。
初始化DIS客户端 您可以使用以下两种方法初始化DIS SDK客户端实例,优先选择使用代码进行初始化。其中,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参考获取认证信息。 使用代码初始化DIS SDK客户端实例。 1 2 3 4
SON或CSV时可配置该参数。 通过单击或来关闭或开启Schema配置开关。 说明: 若创建通道时,没有同时创建数据Schema,可待通道创建成功后。到通道的管理页面创建数据Schema,详情请参见管理源数据Schema。 “源数据类型”为“JSON”和“CSV”时,可选择创建数据Schema。
用户可以在创建通道时为通道选择所属的企业项目,从而将DIS通道与企业项目进行关联,详情请参见步骤1:开通DIS通道。在选择“企业项目”的下拉列表中,将显示用户在企业项目服务中已创建的项目。系统还内置了一个缺省的企业项目“default”,如果用户没有为通道选择企业项目,将使用缺省项目“default”。
与其他服务的关系 介绍DIS与其他服务的关系。 对象存储服务(Object Storage Service,简称OBS) 在用户购买接入通道时选择数据转储至OBS,用户上传的数据会存储至对象存储服务(OBS)。 统一身份认证服务(Identity and Access Management,简称IAM)
据信息。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看监控信息的通道名称,进入监控页面。 根据实际情况在“通道管理”页面选择“通道监控”或“分区监控”页签,查看各监控项情况。监控信息参数说明如表1所示。其中,通道基本信息的参数说明请参见表1。
转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema 用户的JSON或CSV数据样例,用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet格式。 - 转储文件目录 在OBS中存
单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看的通道名称。进入所选通道的管理页面。 单击“源数据类型”后的,从下拉框中选择对应的源数据类型,可修改创建通道时已设置的源数据类型。或者选择待修改源数据类型通道对应的操作列,选择“更多 > 变更源数
Internet Explorer在安装时自动选择其他用户如System用户安装,从而导致Internet Explorer无法打开登录页面。请使用管理员身份重新安装Internet Explorer 9.0或更高版本(建议),或尝试使用管理员身份运行Internet Explorer
普通通道分区使用时长计费详情请参见DIS分区计费。 高级通道分区使用时长计费详情请参见DIS分区计费。 计费方式 DIS提供按需计费和包年包月计费方式供您灵活选择,使用越久越便宜。 按需计费 DIS默认为按需计费方式,即按实际使用的时长收费,以小时为单位,每小时整点结算,不设最低消费标准。 按需计费
创建demo数据库,在DLI控制台总览页面,选择“SQL作业”,单击“创建作业”,进入SQL作业编辑器。 在SQL作业编辑器左侧,选择“数据库”,单击创建数据库。 “default”为内置数据库,不能创建名为“default”的数据库。 创建OBS表 选择demo数据库,在编辑框中输入以下SQL语句:
什么是DIS? 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
什么是数据接入服务DIS 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体
Explorer”中右键单击所需工程,选择“Properties ”,进入“Properties for dis-sdk-demo”页面。 左侧页签栏选择“Resource”,右侧对话框显示“Resource”页面。 在“Text file encoding”栏中选择“Other”,单击下拉框选择“UTF-8”。
存储该通道数据的CloudTable集群名称。 如果选择转储OpenTSDB,则集群必须开启OpenTSDB。 cloudtable_cluster_id 是 String 存储该通道数据的CloudTable集群ID。 如果选择转储OpenTSDB,则集群必须开启OpenTSDB。