数据接入-华为云

应用平台 APPSTAGE-CES指标接入监控服务:查看监控指标数据

查看监控指标数据以采集弹性云服务器的监控指标为例，查看弹性云服务器对应的命名空间、指标ID、维度的Key和Value。在支持监控的服务列表页面查看对应的监控指标参考文档。在参考文档中查看命名空间，弹性云服务器对应的命名空间为“SYS.E CS ”。查看监控指标的指标ID和测量对象（维度），例如监控指标CPU使用率的指标ID为“cpu_util”，测量对象为“云服务器”。查看维度的Key和Value，云服务器维度的Key和Value分别为instance_id和云服务器ID。

应用平台 APPSTAGE 其他公有云数据接入运维中心监控服务

应用平台 APPSTAGE-虚拟机日志接入:步骤三：创建日志采集配置

步骤三：创建日志采集配置在“日志接入”页面，选择左侧导航栏的“日志采集配置”。单击“创建日志采集配置”。配置日志采集参数，配置完成后，单击“确定”。新创建的采集配置默认为草稿状态，展示在“草稿”页签下，当配置被微服务使用后，状态会更新为“已下发”，并展示到“已下发”页签下。表4 日志采集配置参数说明参数名称参数说明日志项目选择已创建的日志项目，相同服务的不同日志使用同一个日志项目。日志空间选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式，采集的日志须满足对应格式。配置名称自定义日志采集配置名称。配置类型选择日志采集配置类型，建议选择“FILEBEAT”。日志类型输入采集日志类型。日志路径填写实际日志路径，可使用通配符进行匹配。说明：接入容器日志需要根据通配符匹配完成。注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件，会导致filebeat进程异常。日志TPS TPS表示单实例每秒日志条数，请准确填写，用于推荐资源自动计算。如果采集路径是单个日志，则按照单个日志单台机器（pod）的TPS值填写，且按照高峰期计算。如果采集路径配置了通配符，则将采集的日志TPS累加，累加计算高峰期单台机器（pod）的TPS，建议按近期业务增长预期填写。日志模式选择日志采集模式，是单行模式还是多行模式。是否支持软连接当填写的日志路径为链接路径时，需要开启支持软连接。首行正则表达式日志模式选择多行模式时，需要输入首行正则表达式。日志提取规则根据填写的配置参数会自动生成提取规则。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤四：创建任务

步骤四：创建任务在“日志接入”页面，选择左侧导航栏的“任务管理”。单击页面右上角的“新建任务”。配置任务参数，如图1所示，参数说明如表5所示，配置完成后，单击“确定”。图1 新建配置表5 任务参数说明参数名称参数说明日志项目选择已创建的日志项目。任务名称自定义任务名称。任务类型选择任务类型。配置类型选择日志采集配置类型。配置列表选择需要下发的配置。用户名称选择已规划并拥有日志读取权限的业务账号。选择主机选择需要下发配置的主机。已选主机显示已选主机。在任务列表中查看已创建的任务，单击任务所在行“操作”列的“执行”，如图2所示。图2 执行任务执行完成后，状态为成功即表示日志配置内容已下发成功，即会按照配置将日志接入AppStage。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤二：创建日志空间

步骤二：创建日志空间在“日志接入”页面，选择左侧导航栏的“日志空间”。单击“申请实时日志空间”。根据界面提示填写日志空间参数。配置实时日志空间信息，参数说明如表2所示，配置完成后，单击“下一步”。表2 实时日志空间信息参数说明参数名称参数说明空间名称自定义日志空间名称，建议包含日志类型语义。空间描述输入日志空间描述，非必填项。日志类型选择需接入的日志类型，该日志空间中接入的日志数据“logType”字段会根据选择的日志类型生成。不同日志类型所对应的“logType”字段如下：访问日志：AC CES S_ LOG 接口日志：INTERFACE_LOG 错误日志：ERROR_LOG 异常日志：EXCEPTION_LOG 安全日志：SAFE_LOG 资源日志：RESOURCE_LOG 运行日志：RUN_LOG 话单日志：CDR_LOG 指标日志：METRICS_LOG GC日志：GC_LOG HCW日志：HCW_LOG 日志大小预计一天的日志量，默认为1GB。开启日志检索如果需要使用日志检索功能，可以打开该开关，并创建导流任务，创建导流任务后可以在“日志检索”页面查看日志。检索空间类型选择ClickHouse。原索引名称(ClickHouse) 可选择现有的ClickHouse，如果不填会自动生成。 TTL 日志索引的生命周期，即可以检索的日志时间范围，当前默认支持7天。配置实时日志字段信息，参数说明如表3所示，配置完成后，单击“下一步”。表3 实时日志字段信息参数说明参数名称参数说明自定义字段必须接入的日志字段已默认勾选，可以勾选其他需要接入的日志字段，包括通用字段、容器字段和虚机字段。新增自定义环境变量如需添加自定义环境变量，请选择环境变量名，然后单击“添加”。虚机暂无可选自定义环境变量。清洗规则选择日志清洗规则。请优先使用算子清洗模式采样，通过配置解析脚本将原始日志清洗为业务需要的日志字段，算子清洗功能及使用样例请参见算子清洗功能介绍。原始日志采样清洗只适用于单纯采样，不需要清洗的场景。日志样例输入日志样例。解析脚本配置解析脚本，将日志样例清洗为字段显示，具体算子功能及使用样例请参见算子清洗功能介绍。说明：配置解析脚本时字段命名不支持使用中划线“-”，支持使用下划线“_”。清洗字段配置解析脚本后单击“配置解析脚本”，自动生成清洗字段，查看字段是否符合预期。开启汇聚选择是否开启日志汇集，如果日志量较大且不需要关注原始日志时可以进行日志汇集。开启后会自动创建用于存储汇聚数据的Topic，同时需要配置汇集相关参数。汇聚粒度开启汇聚后，需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级，每一分钟会生成一个统计点，选择秒级，每一秒会生成一个统计点。汇聚时间戳仅支持时间戳格式字段timestamp，获取当前计算的日志的时间。时间戳格式选择时间戳格式。支持秒、毫秒、纳秒级时间戳，获取当前计算的日志的时间格式。汇聚维度结合业务场景需要，选择日志是以哪些日志字段进行日志汇聚，支持多选。汇聚度量设置对日志字段以COUNT、SUM、MAX、MIN进行度量。原始字段是日志中的字段，用来获取原始值；度量字段是用户自定义字段名，计算后，度量的值会赋值给该字段。输出原始日志选择是否需要输出原始日志。如果打开输出原始日志，原始日志也会上报。日志字段确认，确认日志字段配置是否达到预期，达到预期后可单击“下一步”。其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。申请日志空间共享，如果需要其他服务共用这个空间进行日志下发和日志检索，可以添加共享服务。配置完成后，单击“保存”。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤四：创建日志配置下发任务

步骤四：创建日志配置下发任务在“虚拟机日志接入”页面，选择左侧导航栏的“任务管理”。单击页面右上角的“新建任务”。配置任务参数，参数说明如表5所示，配置完成后，单击“确定”。表5 日志配置下发任务参数说明参数名称参数说明日志项目选择已创建的日志项目。任务名称自定义任务名称。任务类型选择任务类型。配置类型选择日志采集配置类型。配置列表选择需要下发的配置。用户名称选择已规划并拥有日志读取权限的业务账号。选择主机选择需要下发配置的主机。已选主机显示已选主机。在任务列表中查看已创建的任务，单击任务所在行“操作”列的“执行”。执行完成后，状态为成功即表示日志配置内容已下发成功，即会按照配置将日志接入AppStage。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤三：创建日志采集配置

步骤三：创建日志采集配置在“虚拟机日志接入”页面，选择左侧导航栏的“日志采集配置”。单击“创建日志采集配置”。配置日志采集参数，配置完成后，单击“确定”。新创建的采集配置默认为草稿状态，展示在“草稿”页签下，当配置被微服务使用后，状态会更新为“已下发”，并展示到“已下发”页签下。表4 日志采集配置参数说明参数名称参数说明日志项目选择已创建的日志项目，相同服务的不同日志使用同一个日志项目日志空间选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式，采集的日志须满足对应格式。配置名称自定义日志采集配置名称。配置类型选择日志采集配置类型，建议选择“FILEBEAT”。日志类型输入采集日志类型。日志路径填写实际日志路径，可使用通配符进行匹配。说明：接入容器日志需要根据通配符匹配完成。注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件，会导致filebeat进程异常。日志TPS TPS表示单实例每秒日志条数，请准确填写，用于推荐资源自动计算。如果采集路径是单个日志，则按照单个日志单台机器（pod）的TPS值填写，且按照高峰期计算。如果采集路径配置了通配符，则将采集的日志TPS累加，累加计算高峰期单台机器（pod）的TPS，建议按近期业务增长预期填写。日志模式选择日志采集模式，是单行模式还是多行模式。是否支持软连接当填写的日志路径为链接路径时，需要开启支持软连接。首行正则表达式日志模式选择多行模式时，需要输入首行正则表达式。日志提取规则根据填写的配置参数会自动生成提取规则。

应用平台 APPSTAGE 数据接入

应用平台 APPSTAGE-虚拟机日志接入:步骤二：创建日志空间

步骤二：创建日志空间在“虚拟机日志接入”页面，选择左侧导航栏的“日志空间”。单击“申请实时日志空间”。根据界面提示填写日志空间参数。配置实时日志空间信息，参数说明如表2所示，配置完成后，单击“下一步”。表2 实时日志空间信息参数说明参数名称参数说明空间名称自定义日志空间名称，建议包含日志类型语义。空间描述输入日志空间描述，非必填项。日志类型选择需接入的日志类型，该日志空间中接入的日志数据“logType”字段会根据选择的日志类型生成。不同日志类型所对应的“logType”字段如下：访问日志：ACCESS_LOG 接口日志：INTERFACE_LOG 错误日志：ERROR_LOG 异常日志：EXCEPTION_LOG 安全日志：SAFE_LOG 资源日志：RESOURCE_LOG 运行日志：RUN_LOG 话单日志：CDR_LOG 指标日志：METRICS_LOG GC日志：GC_LOG HCW日志：HCW_LOG 日志大小预计一天的日志量，默认为1GB。开启日志检索如果需要使用日志检索功能，可以打开该开关，并创建导流任务，创建导流任务后可以在“日志检索”页面查看日志。检索空间类型选择ClickHouse。原索引名称(ClickHouse) 可选择现有的ClickHouse，如果不填会自动生成。 TTL 日志索引的生命周期，即可以检索的日志时间范围，当前默认支持7天。配置实时日志字段信息，参数说明如表3所示，配置完成后，单击“下一步”。表3 实时日志字段信息参数说明参数名称参数说明自定义字段必须接入的日志字段已默认勾选，可以勾选其他需要接入的日志字段，包括通用字段、容器字段和虚机字段。新增自定义环境变量如需添加自定义环境变量，请选择环境变量名，然后单击“添加”。虚机暂无可选自定义环境变量。清洗规则选择日志清洗规则。请优先使用算子清洗模式采样，通过配置解析脚本将原始日志清洗为业务需要的日志字段，算子清洗功能及使用样例请参见算子清洗功能介绍。原始日志采样清洗只适用于单纯采样，不需要清洗的场景。日志样例输入日志样例。解析脚本配置解析脚本，将日志样例清洗为字段显示。说明：配置解析脚本时字段命名不支持使用中划线“-”，支持使用下划线“_”。清洗字段配置解析脚本后单击“配置解析脚本”，自动生成清洗字段，查看字段是否符合预期。开启汇聚选择是否开启日志汇集，如果日志量较大且不需要关注原始日志时可以进行日志汇集。开启后会自动创建用于存储汇聚数据的Topic，同时需要配置汇集相关参数。汇聚粒度开启汇聚后，需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级，每一分钟会生成一个统计点，选择秒级，每一秒会生成一个统计点。汇聚时间戳仅支持时间戳格式字段timestamp，获取当前计算的日志的时间。时间戳格式选择时间戳格式。支持秒、毫秒、纳秒级时间戳，获取当前计算的日志的时间格式。汇聚维度结合业务场景需要，选择日志是以哪些日志字段进行日志汇聚，支持多选。汇聚度量设置对日志字段以COUNT、SUM、MAX、MIN进行度量。原始字段是日志中的字段，用来获取原始值；度量字段是用户自定义字段名，计算后，度量的值会赋值给该字段。输出原始日志选择是否需要输出原始日志。如果打开输出原始日志，原始日志也会上报。日志字段确认，确认日志字段配置是否达到预期，达到预期后可单击“下一步”。其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。申请日志空间共享，如果需要其他自有服务共用这个空间进行日志下发和日志检索，可以添加共享服务。配置完成后，单击“保存”。

应用平台 APPSTAGE 数据接入

AI开发平台MODELARTS-从DLI导入数据

从 DLI 导入数据表格数据集支持从DLI导入数据。从DLI导入数据，用户需要选择DLI队列、数据库和表名称。所选择的表的schema(列名和类型)需与数据集一致，支持自动获取所选择表的schema。DLI的详细功能说明，请参考DLI用户指南。图1 DLI导入数据队列名称：系统自动将当前账号下的DLI队列展现在列表中，用户可以在下拉框中选择需要的队列。数据库名称：根据选择的队列展现所有的数据库，请在下拉框中选择您所需的数据库。表名称：根据选择的数据库展现此数据库中的所有表。请在下拉框中选择您所需的表。 DLI的default队列只用作体验，不同账号间可能会出现抢占的情况，需进行资源排队，不能保证每次都可以得到资源执行相关操作。 DLI支持schema映射的功能，即导入的表的schema的字段名称可以不和数据集相同，但类型要保持一致。父主题：数据接入

AI开发平台MODELARTS 数据接入

应用平台 APPSTAGE-主机监控接入运维中心:使用限制

使用限制绑定监控模板进行主机监控，支持的主机的操作系统如表1所示，其余类型的主机无法绑定监控插件。表1 监控服务支持的主机操作系统操作系统系统版本 EulerOS EulerOS2.5、EulerOS2.9 CentOS CentOS 7.2、CentOS 7.6、CentOS 7.8、CentOS 7.9、CentOS 8.2 Ubuntu Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04 Huawei Cloud EulerOS Huawei Cloud EulerOS 2.0 SUSE SUSE11、SUSE12、SUSE15、OpenSUSE 15.0

应用平台 APPSTAGE 数据接入运维中心

应用平台 APPSTAGE-接入AppStage运维中心流程:操作流程

操作流程具体操作流程如图1所示。图1 操作流程配置服务环境（可选）录入其他华为账号：如果需要将其他账号下的华为云资源接入至AppStage进行管理，可以将账号录入AppStage。启用环境：创建并启用环境，并通过环境配置将服务与环境进行关联。录入企业项目：AppStage平台申请对应服务华为账号下的资源时，需要获取租户的EPS。资源接入运维中心 VPC接入：资源接入AppStage前需要先打通网络，通过纳管VPC实现VPC下资源的网络连通。主机接入：AppStage运维中心支持纳管主机，对主机进行统一管理，包括主机资源发放/回收/操作、OS管理、密码密钥管理等。数据库接入：AppStage运维中心支持纳管数据库，对数据库进行统一管理，包括数据库台账、自动化SQL变更、数据查询、自动化数据提取、性能分析、负载分析、数据库风险诊断等。容器集群接入：AppStage运维中心支持纳管CCE容器集群，对CCE容器集群进行统一管理，包括资源池监控、访问安全控制、任务调度、业务负载弹性伸缩和多种K8s扩展等。数据接入运维中心虚拟机日志接入：支持通过部署filebeat完成虚拟机日志采集。日志接入后，可以对日志进行检索，查看已接入日志，具体操作请参见在监控服务查看已接入日志。容器日志接入：支持将容器日志接入AppStage运维中心。日志接入后，可以对日志进行检索，查看已接入日志，具体操作请参见在监控服务查看已接入日志。主机监控接入：支持定义服务的监控模板，然后通过为主机绑定监控模板，采集主机监控数据。 CES指标接入：支持将云监控服务 CES采集的监控指标数据接入至AppStage运维中心，如需将CES生成的告警接入AppStage运维中心，可参考CES告警接入操作。监控运维数据开发业务指标：对已产生或接入的数据进行指标开发。开发业务报表：对已创建的指标或视图数据进行业务报表开发，配置后可以查看业务报表监控，具体操作请参见查看监控服务已开发的业务报表。配置告警：支持对虚拟机监控数据或业务数据配置告警，及时掌握虚拟机状态，容器接入并安装监控插件后会自动生成告警。告警配置后可以查看告警，并及时处理告警问题，具体操作请参见查看并处理告警。

应用平台 APPSTAGE 将资源和数据接入AppStage运维中心

数据接入服务 DIS-什么是分区？

什么是分区？分区（Partition）是DIS数据通道的基本吞吐量单位。创建通道时，将指定所需的分区数量。普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 10MB/秒，单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小）目前每个租户默认Partition配额范围为1～50个，租户可以根据需要配置Partition个数。若需扩大配额，请提交工单增加配额，具体上限需要根据集群的实际负载情况进行计算。父主题：一般性问题

数据接入服务 DIS

数据接入服务 DIS-如何开通DIS通道？

如何开通DIS通道？使用注册账户登录DIS控制台。单击管理控制台左上角的，选择区域和项目。单击“购买接入通道”配置相关参数。表1 接入通道参数说明参数参数解释参数示例计费模式按需计费按需计费区域指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。华北-北京1 基本信息通道名称用户发送或者接收数据时，需要指定通道名称，通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 dis-Tido 通道类型普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 10MB/秒，单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小） - 分区数量分区是DIS数据通道的基本吞吐量单位。 5 分区计算用户可以根据实际需求通过系统计算得到一个建议的分区数量值。单击“分区计算”，弹出“计算所需分区数量”对话框。根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数量”，“预估所需分区数量”选项框中将显示所需的分区数量，此值不可修改。说明：所需分区计算公式：按流量计算所需写分区数：（所得数值需向上取整后作为分区数）普通通道：平均记录大小*（1+分区预留比例20%）*最大写入记录数/（1*1024KB）高级通道：平均记录大小*（1+分区预留比例20%）*最大写入记录数/（5*1024KB）按消费程序数量计算读分区数：（消费程序数量/2后的数值需要保留两位小数，然后乘以“按流量计算所需写分区数”，最终取值需向上取整）（消费程序数量/2）*按流量计算所需的写分区数获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期（小时）存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。取值范围：24~72的整数。 24 源数据类型 BLOB：存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“ MRS ”。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 “源数据类型”选择“CSV”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”、“DWS”。 JSON 自动扩缩容创建通道的同时是否开启自动扩缩容功能。通过单击通过单击或来关闭或开启自动扩缩容开关。说明：用户可在创建通道时定义是否自动扩缩容，也可对已创建的通道修改自动扩缩容属性。自动缩容最小分区数设置自动缩容的分区下限，自动缩容的目标分区数不小于下限值。 - 自动扩容最大分区数设置自动扩容的分区上限，自动扩容的目标分区数不超过上限值。 - 源数据分隔符源数据为CSV格式时的数据分隔符。 - Schema开关创建通道的同时是否为其创建数据Schema。源数据类型为JSON或CSV时可配置该参数。通过单击或来关闭或开启Schema配置开关。说明：若创建通道时，没有同时创建数据Schema,可待通道创建成功后。到通道的管理页面创建数据Schema，详情请参见管理源数据Schema。 “源数据类型”为“JSON”和“CSV”时，可选择创建数据Schema。源数据Schema 支持输入和导入源数据样例，源数据样例格式为JSON或者CSV，详细操作请参见管理源数据Schema。在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。在左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。在右侧文本框中单击，可删除已生成的Avro schema。在右侧文本框中单击，可修改已生成的Avro schema。仅当“Schema配置开关”配置为“开启”：时需要配置此参数。企业项目配置通道所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。您可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业项目，请登录企业管理控制台进行创建，详细操作请参考《企业管理用户指南》。 - 现在配置单击“现在配置”，呈现添加标签。添加标签具体请参考管理通道标签。 - 暂不配置暂不配置任何信息。 - 标签标签是通道的标识。为通道添加标签，可以方便用户识别和管理拥有的通道资源。 - 单击“立即购买”，弹出“规格确认”页面。单击“提交”，完成通道接入。父主题：一般性问题

数据接入服务 DIS 一般性问题

数据接入服务 DIS-使用限制

使用限制使用DIS前，您需要认真阅读并了解以下使用限制。建议使用支持的浏览器登录DIS。 Google Chrome：48.0及更高版本 Mozilla FireFox：43.0及更高版本 Internet Explorer：9.0及更高版本当使用Internet Explorer 9.0时可能无法登录DIS管理控制台，原因是某些Windows系统例如Win7旗舰版，默认禁止Administrator用户，Internet Explorer在安装时自动选择其他用户如System用户安装，从而导致Internet Explorer无法打开登录页面。请使用管理员身份重新安装Internet Explorer 9.0或更高版本（建议），或尝试使用管理员身份运行Internet Explorer 9.0。用户使用接入通道上传数据的时候，如果数据涉及敏感信息，请使用DIS SDK提供的加密配置进行加密或者自行加密。用户使用接入通道上传数据时，普通通道单分区单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小），高级通道单分区单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小）。

数据接入服务 DIS

数据接入服务 DIS-步骤1：开通DIS通道:操作步骤

操作步骤使用注册账户登录DIS控制台。单击管理控制台左上角的，选择区域和项目。单击“购买接入通道”配置相关参数。表1 接入通道参数说明参数参数解释参数示例计费模式按需计费按需计费区域指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。华北-北京1 基本信息通道名称用户发送或者接收数据时，需要指定通道名称，通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 dis-Tido 通道类型普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 10MB/秒，单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小） - 分区数量分区是DIS数据通道的基本吞吐量单位。 5 分区计算用户可以根据实际需求通过系统计算得到一个建议的分区数量值。单击“分区计算”，弹出“计算所需分区数量”对话框。根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数量”，“预估所需分区数量”选项框中将显示所需的分区数量，此值不可修改。说明：所需分区计算公式：按流量计算所需写分区数：（所得数值需向上取整后作为分区数）普通通道：平均记录大小*（1+分区预留比例20%）*最大写入记录数/（1*1024KB）高级通道：平均记录大小*（1+分区预留比例20%）*最大写入记录数/（5*1024KB）按消费程序数量计算读分区数：（消费程序数量/2后的数值需要保留两位小数，然后乘以“按流量计算所需写分区数”，最终取值需向上取整）（消费程序数量/2）*按流量计算所需的写分区数获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期（小时）存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。取值范围：24~72的整数。 24 源数据类型 BLOB：存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。“源数据类型”选择“JSON”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”和“DWS”。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 “源数据类型”选择“CSV”，则支持的“转储服务类型”为“OBS”、“MRS”、“DLI”、“DWS”。 JSON 自动扩缩容创建通道的同时是否开启自动扩缩容功能。通过单击通过单击或来关闭或开启自动扩缩容开关。说明：用户可在创建通道时定义是否自动扩缩容，也可对已创建的通道修改自动扩缩容属性。自动缩容最小分区数设置自动缩容的分区下限，自动缩容的目标分区数不小于下限值。 - 自动扩容最大分区数设置自动扩容的分区上限，自动扩容的目标分区数不超过上限值。 - 源数据分隔符源数据为CSV格式时的数据分隔符。 - Schema开关创建通道的同时是否为其创建数据Schema。源数据类型为JSON或CSV时可配置该参数。通过单击或来关闭或开启Schema配置开关。说明：若创建通道时，没有同时创建数据Schema,可待通道创建成功后。到通道的管理页面创建数据Schema，详情请参见管理源数据Schema。 “源数据类型”为“JSON”和“CSV”时，可选择创建数据Schema。源数据Schema 支持输入和导入源数据样例，源数据样例格式为JSON或者CSV，详细操作请参见管理源数据Schema。在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。在左侧文本框中单击，可删除左侧文本框中已输入或导入的源数据样例。在左侧文本框中单击，可在右侧文本框中根据源数据样例生成Avro schema。在右侧文本框中单击，可删除已生成的Avro schema。在右侧文本框中单击，可修改已生成的Avro schema。仅当“Schema配置开关”配置为“开启”：时需要配置此参数。企业项目配置通道所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。您可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业项目，请登录企业管理控制台进行创建，详细操作请参考《企业管理用户指南》。 - 现在配置单击“现在配置”，呈现添加标签。添加标签具体请参考管理通道标签。 - 暂不配置暂不配置任何信息。 - 标签标签是通道的标识。为通道添加标签，可以方便用户识别和管理拥有的通道资源。 - 单击“立即购买”，弹出“规格确认”页面。单击“提交”，完成通道接入。

数据接入服务 DIS

数据接入服务 DIS-通道列表简介

通道列表简介通道列表中可查看当前用户的已创建的所有通道信息。通道信息包括：名称/ID：用户发送或者接收数据时，需要指定通道名称，通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。状态：通道的运行状态。通道类型：普通和高级。普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 10MB/秒，单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小）分区数量：分区是DIS数据通道的基本吞吐量单位。通道的多个分区可以并发进行数据传输，以提升效率。源数据类型：BLOB、JSON、CSV。生命周期（小时）：存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。取值范围：24~72的整数。单位：小时。创建时间：显示通道创建的时间。格式为：yyyy/MM/dd HH:mm:ss GMT。其中，yyyy表示年份，MM表示月份，dd表示日期，HH表示小时，mm表示分钟，ss表示秒，GMT表示时区。例如：2017/05/09 08:00:00 GMT+08:00。计费模式：目前仅支持按需付费方式。操作：当前操作列表支持删除通道、扩缩容、查看授权管理、查看转储任务和变更源数据类型的操作。父主题：管理通道

数据接入服务 DIS 管理通道

云服务器内容精选

数据接入

7*24

备案

专业服务

退订

建议反馈

售前咨询热线