检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
统一身份认证服务(Identity and Access Management,简称IAM) 统一身份认证服务为DIS提供了用户鉴权功能。 云审计服务(Cloud Trace Service,简称CTS) 云审计服务记录DIS相关的操作事件,方便用户日后的查询、审计和回溯。CTS的更多信息,请参见《云审计服务用户指南》。
disSource started.”内容,表示DIS Source正常启动,其中“disSource”是用户配置的source名称。 检查DIS Source下载数据是否正常。 向source指向的通道上传数据,如果flume没有报错且sink端能正常获取到数据,表示下载正常。 如果使用步骤
在左侧列表栏中选择“通道管理”。 在“通道管理”页面中单击需要扩缩容的通道名称。 在通道详情页面的右上角单击“扩缩容”按钮,弹出“变更分区数目”对话框。 修改“目标分区数”,单击“确认”。 在左侧列表栏中选择通道管理。 针对待扩缩容的通道,选中“操作”列中的“更多”下拉列表中的“扩缩容”。
descriptor.setTransferTaskName(taskName); // 配置DLI相关信息:数据库和内表名称。可通过数据湖探索(简称DLI)控制台创建和查询,DLI表需为内表 descriptor.setDliDatabaseName("dis_dli"); descriptor
生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。 应用程序:一个DIS应用程序是读取和处理来自DIS数据通道的使用者。您可以使用客户端库(SDK)构建DIS应用程序。
Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。 14:40:20.090 [main] INFOcom.bigdata.dis.sdk.DISConfig - get from
Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。 14:40:20.090 [main] INFOcom.bigdata.dis.sdk.DISConfig - get from
{query-string} 尽管请求URI包含在请求消息头中,但大多数语言或框架都要求您从请求消息中单独传递它,所以在此单独强调。 表1 URI中的参数说明 参数 描述 URI-scheme 表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器
运行安装程序,需要指定Logstash的安装目录。 bash install.sh –p ${LOGSTASH_HOME} 安装完成后,显示类似如下内容,表示安装成功。 Install dis-logstash-plugins successfully. 父主题: 使用DIS Logstash Plugin上传与下载数据
磁盘相关 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境 更多 技术专题 技术、观点、课程专题呈现 Cloud Native Lives Kubernetes系列课程,带你走进云原生技术的核心 GO语言深入之道 介绍几个Go语言及相关开源框架的插件机制
单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看监控信息的通道名称,进入监控页面。 根据实际情况在“通道管理”页面选择“通道监控”或“分区监控”页签,查看各监控项情况。监控信息参数说明如表1所示。其中,通道基本信息的参数说明请参见表1。 表1 DIS监控信息参数说明
动删除。 查看企业项目 通道创建成功后,您可以在通道列表和通道基本信息页面查看通道关联的企业项目。用户只能查询到有访问权限的项目下的通道资源。 在通道管理页面的列表中,查看通道所属的企业项目。 图1 查看企业项目 在通道列表中,单击通道名称,进入通道“基本信息”页面,可以查看与通
配置为空时,数据直接存储在OBS桶内。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表2罗列了源数据类型为JSON,CSV,转储至MRS(对应转储文件格式Parquet)时需要配置的差异化参数,共性参数的配置请参见表1。 表2 转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema
uest))); 表1 请求参数说明 参数名 类型 说明 limit long 单次请求返回通道列表的最大数量。 取值范围:1~100。 默认值:10。 exclusiveStartStreamName string 从该通道开始返回通道列表,返回的通道列表不包括此通道名称。
Unauthorized 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝
默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON,CSV,转储至OBS(对应转储文件格式Parquet)时需要配置的差异化参数,共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema
通道分区状态为DELETED(删除中)时,仅支持下载,不支持上传。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称,进入所选通道的管理页面。 单击“通道调试”,选择对应分区后的上传或下载操作,进行数据的上传和下载。 图1
_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 已创建的通道名称。 最大长度:60 请求参数 表2 请求Header参数 参数 是否必选 参数类型
等方式启动脚本,可能由于系统默认shell的差异导致启动失败。 显示类似如下内容,表示正在停止中。“xxxxx”表示进程ID。 Stopping Agent [xxxxx]..... 显示类似如下内容,表示Agent进程已停止。 Stopping Agent [xxxxx].....
的事件和事件类别列表。 下表显示了事件源类型为通道的事件。 表1 事件源类型为通道的事件 事件源类型 事件级别 事件 通道 警告 流控受限 通道 警告 通道自动扩缩容成功 通道 警告 通道自动扩缩容失败 通道 警告 通道流量异常 通道 警告 通道流量恢复 下表显示了事件源类型为用户的事件。