数据接入服务 DIS-如何开通DIS通道?

时间:2024-10-25 16:22:47

如何开通DIS通道?

  1. 使用注册账户登录DIS控制台
  2. 单击管理控制台左上角的,选择区域和项目。
  3. 单击“购买接入通道”配置相关参数。

    表1 接入通道参数说明

    参数

    参数解释

    参数示例

    计费模式

    按需计费

    按需计费

    区域

    指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。

    华北-北京1

    基本信息

    通道名称

    用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。

    dis-Tido

    通道类型

    • 普通通道单分区容量:最高发送速度可达1MB/秒或1000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达 2MB/秒,单次请求的记录总大小不能超过1MB(不包含partitionKey数据大小)。
    • 高级通道单分区容量:最高发送速度可达 5MB/秒或2000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达 10MB/秒,单次请求的记录总大小不能超过5MB(不包含partitionKey数据大小)

    -

    分区数量

    分区是DIS数据通道的基本吞吐量单位。

    5

    分区计算

    用户可以根据实际需求通过系统计算得到一个建议的分区数量值。
    1. 单击“分区计算”,弹出“计算所需分区数量”对话框。
    2. 根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数量”,“预估所需分区数量”选项框中将显示所需的分区数量,此值不可修改。
      说明:
      所需分区计算公式:
      • 按流量计算所需写分区数:(所得数值需向上取整后作为分区数)

        普通通道:平均记录大小*(1+分区预留比例20%)*最大写入记录数/(1*1024KB)

        高级通道:平均记录大小*(1+分区预留比例20%)*最大写入记录数/(5*1024KB)

      • 按消费程序数量计算读分区数:(消费程序数量/2后的数值需要保留两位小数,然后乘以“按流量计算所需写分区数”,最终取值需向上取整)

        (消费程序数量/2)*按流量计算所需的写分区数

        获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。

    3. 单击“使用计算值”将系统计算出的建议值应用于“分区数量”。

    -

    生命周期(小时)

    存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。

    取值范围:24~72的整数。

    24

    源数据类型

    • BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”“OBS” MRS
    • JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”,则支持的“转储服务类型”“OBS”“MRS” DLI “DWS”
    • CS V:纯文本形式存储的表格数据,分隔符默认采用逗号。

      “源数据类型”选择“CSV”,则支持的“转储服务类型”“OBS”“MRS”“DLI”“DWS”

    JSON

    自动扩缩容

    创建通道的同时是否开启自动扩缩容功能。

    通过单击通过单击来关闭或开启自动扩缩容开关。

    说明:

    用户可在创建通道时定义是否自动扩缩容,也可对已创建的通道修改自动扩缩容属性。

    自动缩容最小分区数

    设置自动缩容的分区下限,自动缩容的目标分区数不小于下限值。

    -

    自动扩容最大分区数

    设置自动扩容的分区上限,自动扩容的目标分区数不超过上限值。

    -

    源数据分隔符

    源数据为CSV格式时的数据分隔符。

    -

    Schema开关

    创建通道的同时是否为其创建数据Schema。源数据类型为JSON或CSV时可配置该参数。

    通过单击来关闭或开启Schema配置开关。

    说明:

    若创建通道时,没有同时创建数据Schema,可待通道创建成功后。到通道的管理页面创建数据Schema,详情请参见管理源数据Schema

    “源数据类型”“JSON”“CSV”时,可选择创建数据Schema。

    源数据Schema

    支持输入和导入源数据样例,源数据样例格式为JSON或者CSV,详细操作请参见管理源数据Schema

    1. 在左侧文本框中输入JSON或者CSV格式的源数据样例,也可单击导入源数据样例。
    2. 在左侧文本框中单击,可删除左侧文本框中已输入或导入的源数据样例。
    3. 在左侧文本框中单击,可在右侧文本框中根据源数据样例生成Avro schema。
    4. 在右侧文本框中单击,可删除已生成的Avro schema。
    5. 在右侧文本框中单击,可修改已生成的Avro schema。

    仅当“Schema配置开关”配置为“开启”时需要配置此参数。

    企业项目

    配置通道所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。

    企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。

    您可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业项目,请登录企业管理控制台进行创建,详细操作请参考《企业管理用户指南》。

    -

    现在配置

    单击“现在配置”,呈现添加标签。

    添加标签具体请参考管理通道标签

    -

    暂不配置

    暂不配置任何信息。

    -

    标签

    标签是通道的标识。为通道添加标签,可以方便用户识别和管理拥有的通道资源。

    -

  4. 单击“立即购买”,弹出“规格确认”页面。
  5. 单击“提交”,完成通道接入。
support.huaweicloud.com/dis_faq/dis_faq_0006.html