云服务器内容精选

  • 步骤四:创建任务 在“日志接入”页面,选择左侧导航栏的“任务管理”。 单击页面右上角的“新建任务”。 配置任务参数,如图1所示,参数说明如表5所示,配置完成后,单击“确定”。 图1 新建配置 表5 任务参数说明 参数名称 参数说明 日志项目 选择已创建的日志项目。 任务名称 自定义任务名称。 任务类型 选择任务类型。 配置类型 选择日志采集配置类型。 配置列表 选择需要下发的配置。 用户名称 选择已规划并拥有日志读取权限的业务账号。 选择主机 选择需要下发配置的主机。 已选主机 显示已选主机。 在任务列表中查看已创建的任务,单击任务所在行“操作”列的“执行”,如图2所示。 图2 执行任务 执行完成后,状态为成功即表示日志配置内容已下发成功,filebeat已成功安装,监控服务会按照配置将日志接入AppStage。 如需卸载filebeat,请参考如何卸载虚拟机上安装的filebeat。
  • 步骤二:创建日志空间 在“日志接入”页面,选择左侧导航栏的“日志空间”。 单击“申请实时日志空间”。 根据界面提示填写日志空间参数。 配置实时日志空间信息,参数说明如表2所示,配置完成后,单击“下一步”。 表2 实时日志空间信息参数说明 参数名称 参数说明 空间名称 自定义日志空间名称,建议包含日志类型语义。 空间描述 输入日志空间描述,非必填项。 日志类型 选择需接入的日志类型,该日志空间中接入的日志数据“logType”字段会根据选择的日志类型生成。不同日志类型所对应的“logType”字段如下: 访问日志:AC CES S_ LOG 接口日志:INTERFACE_LOG 错误日志:ERROR_LOG 异常日志:EXCEPTION_LOG 安全日志:SAFE_LOG 资源日志:RESOURCE_LOG 运行日志:RUN_LOG 话单日志:CDR_LOG 指标日志:METRI CS _LOG GC日志:GC_LOG HCW日志:HCW_LOG 日志大小 预计一天的日志量,默认为1GB。 开启日志检索 如果需要使用日志检索功能,可以打开该开关,并创建导流任务,创建导流任务后可以在“日志检索”页面查看日志。 如果创建时没有打开日志检索开关,后续编辑打开该开关,需要手动创建或绑定检索空间表。 单击该空间所在行“操作”列的,选择“日志空间表管理”并切换至“检索空间表”页签,单击右上角的“创建新空间表”或“选择已有空间表”,手动为该日志空间创建或绑定检索空间表,然后单击列表“操作”列的“上线”。 检索空间类型 选择ClickHouse。 原索引名称(ClickHouse) 可选择现有的ClickHouse,如果不填会自动生成。 配置实时日志字段信息,参数说明如表3所示,配置完成后,单击“下一步”。 表3 实时日志字段信息参数说明 参数名称 参数说明 自定义字段 必须接入的日志字段已默认勾选,可以勾选其他需要接入的日志字段,包括通用字段、容器字段和虚机字段。 新增自定义环境变量 如需添加自定义环境变量,请选择环境变量名,然后单击“添加”。虚机暂无可选自定义环境变量。 清洗规则 选择日志清洗规则。 请优先使用算子清洗模式采样,通过配置解析脚本将原始日志清洗为业务需要的日志字段,算子清洗功能及使用样例请参见算子清洗功能介绍。原始日志采样清洗只适用于单纯采样,不需要清洗的场景。 如果创建时选择“无清洗”,后续编辑选择对日志进行清洗,需要手动创建或绑定异常存储空间表。 单击该空间所在行“操作”列的,选择“日志空间表管理”并切换至“异常存储空间表”页签,单击右上角的“创建新空间表”或“选择已有空间表”,手动为该日志空间创建或绑定异常存储空间表,然后单击列表“操作”列的“上线”。 日志样例 输入日志样例。 解析脚本 配置解析脚本,将日志样例清洗为字段显示,具体算子功能及使用样例请参见算子清洗功能介绍。 配置解析脚本时字段命名不支持使用中划线“-”,支持使用下划线“_”。 清洗字段 配置解析脚本后单击“配置解析脚本”,自动生成清洗字段,查看字段是否符合预期。 开启汇聚 选择是否开启日志汇集,如果日志量较大且不需要关注原始日志时可以进行日志汇集。 开启后会自动创建用于存储汇聚数据的Topic,同时需要配置汇集相关参数。 汇聚粒度 开启汇聚后,需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级,每一分钟会生成一个统计点,选择秒级,每一秒会生成一个统计点。 汇聚时间戳 仅支持时间戳格式字段timestamp,获取当前计算的日志的时间。 时间戳格式 选择时间戳格式。支持秒、毫秒、纳秒级时间戳,获取当前计算的日志的时间格式。 汇聚维度 结合业务场景需要,选择日志是以哪些日志字段进行日志汇聚,支持多选。 汇聚度量 设置对日志字段以COUNT、SUM、MAX、MIN进行度量。 原始字段是日志中的字段,用来获取原始值;度量字段是用户自定义字段名,计算后,度量的值会赋值给该字段。 输出原始日志 选择是否需要输出原始日志。如果打开输出原始日志,原始日志也会上报。 日志字段确认,确认日志字段配置是否达到预期,达到预期后可单击“下一步”。 其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。 申请日志空间共享,如果需要其他服务共用这个空间进行日志下发和日志检索,可以添加共享服务。配置完成后,单击“保存”。
  • 步骤三:创建日志采集配置 在“日志接入”页面,选择左侧导航栏的“日志采集配置”。 单击“创建日志采集配置”。 配置日志采集参数,配置完成后,单击“确定”。 新创建的采集配置默认为草稿状态,展示在“草稿”页签下,当配置被微服务使用后,状态会更新为“已下发”,并展示到“已下发”页签下。 表4 日志采集配置参数说明 参数名称 参数说明 日志项目 选择已创建的日志项目,相同服务的不同日志使用同一个日志项目。 日志空间 选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式,采集的日志须满足对应格式。 配置名称 自定义日志采集配置名称。 配置类型 选择日志采集配置类型,建议选择“FILEBEAT”。 日志类型 输入采集日志类型。 日志路径 填写实际日志路径,可使用通配符进行匹配。 接入容器日志需要根据通配符匹配完成。 注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件,会导致filebeat进程异常。 日志TPS TPS表示单实例每秒日志条数,请准确填写,用于推荐资源自动计算。 如果采集路径是单个日志,则按照单个日志单台机器(pod)的TPS值填写,且按照高峰期计算。 如果采集路径配置了通配符,则将采集的日志TPS累加,累加计算高峰期单台机器(pod)的TPS,建议按近期业务增长预期填写。 日志模式 选择日志采集模式,是单行模式还是多行模式。 是否支持软连接 当填写的日志路径为链接路径时,需要开启支持软连接。 首行正则表达式 日志模式选择多行模式时,需要输入首行正则表达式。 日志提取规则 根据填写的配置参数会自动生成提取规则。
  • 添加转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 参照添加转储任务配置方法中的参数值。 配置如下参数: streamname='dis—test1' #已存在的通道名 task_name='113' 以添加OBS转储服务为例:value参数值设定与key对应 basic_Schema=DumpTask.setSchema(key=['consumer_strategy','deliver_time_int erval','agency_name','retry_duration'], value=['LATEST', 30, 'dis_admin_agency',1800]) obs_dump_task =['destination_file_type','obs_bucket_path','file_prefix', 'partition_format','record_delimiter'] obs_Schema = DumpTask.setSchema(basic_Schema=basic_Schema, key=obs_dump_task,value=['text','obs-1253', '','yyyy', '|']) # 添加OBS转储服务,配置obs_Schema值 cli.add_dump_task(streamname, task_name,'OBS',obs_Schema) 配置好以上参数后,执行add_dump_task_sample.py文件默认调用add_dump_task_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
  • DIS服务端错误码 在使用SDK进行操作时如果遇到错误,会在控制台显示错误码描述错误信息。 http状态码 错误码 Error Message 说明 处理措施 441 DIS.4100 Authorization error. 使用AKSK生成的签名信息错误 请检查请求头里的签名信息是否无误。 441 DIS.4101 Authorization header cannot be empty. 使用AKSK生成的签名信息为空 请求头里的签名信息为空,检查是否未生成签名信息。 441 DIS.4102 Incorrectly parsed authorization header. 无法解析签名 请检查请求头里的签名信息。 441 DIS.4103 Empty X-Sdk-Date header. 请求头里的X-Sdk-Date字段为空 请检查请求头里的X-Sdk-Date字段并补齐。 441 DIS.4104 Error parsing X-Sdk-Date header. 无法解析请求头里的X-Sdk-Date字段 请检查请求头里的X-Sdk-Date字段并修正。 441 DIS.4105 Invalid X-Sdk-Date header. 请求头里的X-Sdk-Date字段无效 请检查请求头里的X-Sdk-Date字段并修正。 441 DIS.4106 Empty AcessKey header. 请求头里的签名信息Authorization字段中缺失AK 请检查是否传入AK。 441 DIS.4107 Invalid AcessKey header. 请求头里的签名信息Authorization字段中的AK无效 请检查是否传入有效的AK,避免AK填写错误、AK被删除、临时AK过期等。 441 DIS.4108 Empty ServiceName header. 请求头里的签名信息Authorization字段中缺失服务名 请检查请求头里的Authorization字段中是否包含服务名dis。 441 DIS.4109 The Authorization header must contain the following field: {Credential,SignedHeaders,Signature;} 请求头里的签名信息Authorization字段有误 请检查请求头里的Authorization字段是否包含Credential,SignedHeaders, Signature。 441 DIS.4110 Empty Signature header. 请求头里的签名信息Authorization字段中没有SignedHeaders 请检查签名的生成方式是否有误。 441 DIS.4111 Invalid Region header. 请求头里的签名信息Authorization字段中的region无效 请检查是否传入有效的region。 441 DIS.4112 Invalid authorization request. 使用AKSK生成的签名信息错误 请检查签名的生成方式是否有误,检查AK、SK、region等信息。 441 DIS.4113 Empty Token header. 使用token认证时,请求头里的X-Auth-Token为空 请检查请求头里的X-Auth-Token。 441 DIS.4114 Invalid Token header. 使用token认证时,请求头里的X-Auth-Token无效 请检查请求头里的X-Auth-Token是否过期。 403 DIS.4116 Invalid RBAC. 用户操作受限 请根据返回的具体信息判断账号是否未实名认证、欠费、无DIS服务的操作权限等。 400 DIS.4117 Invalid Project Id. 用户传入的projectId无效 请检查传入的projectId是否有效,是否传入了其他project的id。 400 DIS.4200 Invalid request. 用户的请求无效 请参考API文档检查请求。 400 DIS.4201 Invalid partition_id. 用户传入的partition_id无效 请检查partition_id是否无效。 400 DIS.4202 Empty request. 用户的请求为空 请传入有效的请求。 400 DIS.4203 Invalid monitoring period. 查询监控信息的startTime无效 请传入有效的时间戳。 400 DIS.4204 The monitoring period cannot be longer than 7 days. 仅允许查询最近7天内的监控信息 请查询最近7天内的监控信息。 400 DIS.4208 Invalid MRS cluster. 创建MRS转储任务时,传入的MRS集群无效 请检查传入的MRS集群名称和ID,集群状态是否为运行中,以及是否为安全模式的集群。 400 DIS.4209 Invalid metrics label. 查询监控信息时,传入的监控指标不合法 请参考API文档检查监控指标并修正。 400 DIS.4215 Invalid cursor type. 获取数据游标时,传入的游标类型cursor-type不合法 请参考API文档检查cursor-type字段的范围并修正。 400 DIS.4216 Invalid sequence_number. 获取数据游标时,传入的序列号starting-sequence-number不合法 请传入有效的starting-sequence-number。 400 DIS.4217 Invalid partition cursor. 从DIS通道下载数据时,传入的数据游标partition-cursor无效 请重新获取partition-cursor并下载数据。 400 DIS.4219 The file is constantly resent. 该文件已经收到了 文件已经收到不需要再上传。 400 DIS.4220 The block whose sequence number is %s needs to be resent. 文件块需要重新上传 请按照指示上传对应的块。 400 DIS.4221 Block seq %s is expected 重复传入相同的文件块 请从系统期待的块开始上传。 400 DIS.4222 Block seq %s is expected. 传入的文件块不连续 从系统期待的块开始上传。 400 DIS.4223 The file size exceeds the limit. 文件的容量超过了DIS的限制 请拆分文件并再上传。 400 DIS.4224 The sequence number is out of range. 获取数据游标时,传入的序列号starting-sequence-number不在有效范围 请传入有效的starting-sequence-number。 400 DIS.4225 Expired partition cursor. 从DIS通道下载数据时,传入的数据游标partition-cursor过期 请重新获取partition-cursor并下载数据。 400 DIS.4226 A partition iterator error occurred or a record to which the SN corresponds has expired. Try to obtain the partition iterator again. 获取数据时,传入的数据游标partition-cursor对应的序列号starting-sequence-number过期 请获取获取数据游标,并用新游标获取数据。 400 DIS.4300 Request error. 请求体错误 请对照API文档修正请求体。 400 DIS.4301 The stream does not exist. 通道不存在 请检查传入的通道是否存在。 400 DIS.4302 The partition does not exist. 通道的分区不存在 请检查用户传入的分区ID是否存在。 400 DIS.4303 Exceeded traffic control limit. 超出流控 请扩容通道或降低上传速率。 400 DIS.4305 Too many stream requests. 同一时间内用户请求太多 请降低请求频率并重试。 400 DIS.4306 The bucket does not exist. 传入的OBS桶不存在 请检查OBS桶是否存在。 400 DIS.4307 The stream already exists. 指定的通道已经存在 请修改通道名称并重新创建通道 400 DIS.4308 Insufficient quota. 通道或分区的配额不足 请释放配额或提工单修改账号的配额。 400 DIS.4309 Too many request failures. Please try again later. ip被加入黑名单 由于频繁的错误访问导致用户ip被加入黑名单,请检查认证信息和请求是否有效,并稍后重试。 400 DIS.4310 OBS access error. 访问OBS失败 请检查用户是否有访问OBS的权限。 400 DIS.4329 app quota exceeded. APP配额超出限制 请释放APP的配额。 400 DIS.4330 app already exist. 已经存在同名的APP 请修改APP名称并重新创建APP。 400 DIS.4331 app is using. 删除app时,当前app在使用中 请确认app是否在使用中,如需删除请停止使用并重新删除。 400 DIS.4332 app not found. 指定的APP不存在 请检查指定的APP名称是否正确 400 DIS.4335 Invalid IAM agency. 创建转储任务时,使用的IAM委托无效 检查DIS创建的dis_admin_agency或用户自定义的IAM委托是否存在,权限是否完整。 400 DIS.4336 Invalid HDFS path. 创建MRS转储任务时,传入的MRS HDFS路径无效 请检查传入的MRS HDFS路径是否存在。 400 DIS.4337 The DLI database does not exist. 创建DLI转储任务时,传入的DLI数据库不存在 请检查传入的DLI数据库是否存在。 400 DIS.4338 The DLI table does not exist. 创建DLI转储任务时,传入的DLI数据表不存在 请检查传入的DLI表是否存在,并且是否为DLI内表。 400 DIS.4350 Invalid DWS cluster. 创建DWS转储任务时,传入的DWS集群不存在 请检查DWS集群是否存在,运行是否正常。 400 DIS.4351 Invalid KMS userKey. 创建DWS转储任务时,传入的KMS密钥信息无效 请检查KMS密钥是否存在。 400 DIS.4354 The transfer task does not exist. 删除或更新转储任务时,转储任务不存在 请检查转储任务是否存在。 400 DIS.4355 The transfer task already exists. 创建转储任务时,同一个通道下已存在同名的转储任务 请修改新创建转储任务的名称并重新创建。 400 DIS.4357 Exceeded transfer task quota. 单个通道仅允许同时存在5个转储任务,再创建新的转储任务会超出配额限制 请删除废弃的转储任务释放配额。 400 DIS.4358 The stream supports specific transfer tasks. Check the data type of the stream. 小文件转储的通道不支持创建普通转储任务 请创建新的通道并创建转储任务。 400 DIS.4360 Invalid data schema. 创建通道或更新通道时,传入的data_schema无效 请检查data_schema的格式并重试。 400 DIS.4601 The number of resource tags has reached the maximum. 一个资源上最多有10个标签,添加标签时资源上已添加的标签数超出限制 请删除废弃的标签并重新添加标签。 400 DIS.4602 Invalid resource type. 资源类型不合法 请检查资源类型是否合法。 400 DIS.4603 The resource does not exist. 资源不存在 请确认该资源是否已被删除。 400 DIS.4604 The key does not exist. 标签Key不存在 请确认标签Key是否存在。 400 DIS.4605 The action is not supported. 当前标签操作不支持 请确认当前标签操作是否合法,当前仅支持create和delete操作。 500 DIS.5000 System error. 内部服务错误 请联系技术支持。 500 DIS.5100 HBase error. 连接HBase超时、转储查询异常、其他HBase异常 请联系技术支持。 500 DIS.5150 Redis error. Redis连接异常、数据异常、消息广播异常deng 请联系技术支持。 500 DIS.5200 Zookeeper error. Zookeeper异常,创建topic、删除topic、 给topic添加分区时失败 请联系技术支持。 500 DIS.5250 Kafka error. Kafka异常 请联系技术支持。 500 DIS.5251 Kafka create topic timeout. Kafka创建topic超时 请联系技术支持。 500 DIS.5252 Kafka topic does not exist. Kafka连接错误 请联系技术支持。 500 DIS.5380 Kafka Connect error. Kafka连接错误 请联系技术支持。 500 DIS.5400 Resourcemgt error. Resourcemgt服务创建、更新、删除通道错误或新增分区错误 请联系技术支持。 500 DIS.5401 Kafka partition resource exhausts. Kafka分区资源耗尽 请联系技术支持。 500 DIS.5402 Kafka partition resources are about to be exhausted. Kafka分区资源容量即将售罄 请联系技术支持。 500 DIS.5550 Firehose error. 创建文件失败或者传输文件到OBS失败 请联系技术支持。 500 DIS.5600 Service admin account error. 内置租户账号异常 请联系技术支持。 500 DIS.5601 Service op svc account error. 管理租户账号异常 请联系技术支持。 500 DIS.5750 IAM error. 服务内部调用IAM服务异常 请联系技术支持。 500 DIS.5760 CES error. 将指标上载到CES错误 请联系技术支持。 500 DIS.5780 DCS error. Redis链接失败 请联系技术支持。 500 DIS.5850 OBS error. OBS异常 请联系技术支持。 500 DIS.5900 Partition is readonly for DISK is not enough. 磁盘已满,无法写入数据 请联系技术支持。 父主题: 异常信息
  • 修订记录 发布日期 修订说明 2019-12-11 第二十四次正式发布: 增加dis-kafka-adapter,增加使用Kafka Adapter上传与下载数据。 2019-10-08 第二十三次正式发布: 优化Java和Python SDK。 2019-07-08 第二十次正式发布: 小文件功能下线,删除“创建源数据类型是FILE的通道”。 2019-07-03 第十九次正式发布: Java SDK不兼容原生Kafka客户端,删除“连接Kafka consumer”。 2019-05-14 第十八次正式发布: 支持使用SDK实现数据的加密上传下载,修改初始化DIS客户端。 2019-05-07 第十七次正式发布: 查询通道列表SDK增加分页功能说明,修改查询通道列表。 2019-04-16 第十六次正式发布: 查询通道列表SDK增加响应参数说明,修改查询通道列表。 2019-03-18 第十五次正式发布: 新增如下内容: 添加转储任务~~查询转储详情 初始化DIS客户端 2019-02-23 第十四次正式发布: 修改如下内容: 获取认证信息 2019-01-17 第十三次正式发布: 内容优化。 2019-01-07 第十二次正式发布: 修改如下内容: 下载流式数据 2018-11-28 第十一次正式发布: 修改如下内容: 初始化DIS客户端 创建通道 下载流式数据 2018-11-07 第十次正式发布。 修改如下内容: 如何校验软件包完整性? 2018-09-25 第九次正式发布。 新增如下内容: 准备环境~~获取数据游标 2018-08-19 第八次正式发布。 修改如下内容: 配置样例工程 2018-07-23 第七次正式发布。 修改文档结构和名称。 2018-07-10 第六次正式发布。 新增了如下内容: 创建APP 删除APP 查询Checkpoint 变更分区数量 2018-06-12 第五次正式发布。 修改了如下内容: 开通DIS服务 DIS服务端错误码 2018-05-11 第四次正式发布。 修改了如下内容: 开通DIS通道 DIS服务端错误码 Uquery更名为 数据湖探索 (DLI,Data Lake Insight)。 2018-02-08 第三次正式发布。 新增了如下内容: 创建通道 删除通道 查询通道列表 查询通道详情 获取数据游标 修改了如下内容: 上传流式数据 下载流式数据 2017-11-18 第二次正式发布。 修改了如下内容: 开通DIS通道 2017-10-28 第一次正式发布。
  • Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1234 records=[{"data": "abcdefd", "partition_id": “shardId-0000000001”}]#"data":"xxx"为上传的数据值,请自定义;“partition_id”:“shardId-0000000001”为数据写入的分区id值,请自定义。 record1 = {"data": "xxx","partition_id": partition_id} #可写入多条数据,数据格式如record1所示,每写一条数据使用下面的append方法传入records中。 配置好以上参数后,执行putRecords_sample.py文件调用putRecords_test方法,响应结果如下: 12 200{'failed_record_count': 0, 'records': [{'partition_id': 'shardId-0000000001', 'sequence_number': '15'}]} 父主题: 使用SDK(Python)
  • 查询转储列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="XXX" #已存在的通道名 执行list_dump_task_sample.py文件默认调用list_dump_task_test方法,获取响应200查询成功。 响应示例如下: 12 200{'total_number': 1, 'tasks': [{'last_transfer_timestamp': 1538018769241, 'state': 'RUNNING', 'create_time': 1537949648144, 'destination_type': 'OBS', 'task_name': 'task_test1'}]} 父主题: 使用SDK(Python)
  • 更新转储任务 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK更新转储任务,需要指定通道名称、转储任务名称,转储周期,转储目标服务等信息。 1 2 3 4 5 6 7 8 9101112131415161718192021 //需配置转储任务的全量参数,不支持更新单个参数UpdateTransferTaskRequest request = new UpdateTransferTaskRequest();// 配置待更新的转储任务所属通道的名称request.setStreamName(streamName);// 配置待更新的转储任务名称OBSDestinationDescriptorRequest descriptor = new OBSDestinationDescriptorRequest();descriptor.setTransferTaskName(taskName);// 转储至 对象存储服务 (简称OBS):OBS桶名和子文件夹名,通过OBS控制台或客户端创建桶和文件夹descriptor.setObsBucketPath("obs-dis1");descriptor.setFilePrefix("transfertask");// 转储周期,单位sdescriptor.setDeliverTimeInterval(300);// 可选,转储OBS的目标文件格式:默认text,可配置parquet、carbondescriptor.setDestinationFileType(DestinationFileTypeEnum.TEXT.getType());request.setObsDestinationDescriptor(descriptor); 配置“UpdateTransferTaskRequest”对象之后,通过调用updateTransferTask的方法更新转储任务。 1 dic.updateTransferTask(request); 父主题: 使用SDK(Java)
  • 创建通道 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 根据stream_type选取方法,参照创建通道配置方法中的参数值。 stream_type=“” #无转储通道 配置createstream_sample.py中Dump_switch方法参数值。 stream_type=“FILE” #文件类型通道 配置createstream_sample.py中Dump_switch_FILE方法参数值。 配置好参数后,执行createstream_sample.py文件默认调用createStream_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
  • 初始化DIS客户端 您可以使用以下方法初始化DIS SDK客户端实例。其中,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参考获取认证信息。 cli = disclient(endpoint='**your-endpoint**', // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 ak=os.environ.get("HUAWEICLOUD_SDK_AK"), sk=os.environ.get("HUAWEICLOUD_SDK_SK"), projectid='**your-projectid**', region='**your-region**') 父主题: 使用SDK(Python)
  • 开通DIS服务 注册云服务账号。 开通DIS服务。 使用DIS服务之前必须先充值,才能正常使用DIS服务。 登录DIS管理控制台。 单击页面右上角的“费用”。 单击“充值”,系统自动跳转到充值窗口。 根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。 单击“ 数据接入服务 ”,开通服务。 创建访问密钥。 DIS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的DIS资源。 登录DIS控制台。 单击页面右上角的用户名,选择“我的凭证”。 “我的凭证”页面,单击“管理访问密钥”区域下方的“新增访问密钥”。 根据界面提示输入相关信息并保存新创建的访问密钥。 每个用户最多可创建两个有效的访问密钥。 为防止访问密钥泄露,建议您将其保存到安全的位置。如果用户在此提示框中单击“取消”,则不会下载密钥,后续也将无法继续下载,用户必须将此密钥删除后再创建新的访问密钥。 父主题: 开通DIS
  • DIS概述 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。 云服务实现了在多地域部署基础设施,具备高度的可扩展性和可靠性,用户可根据自身需要指定地域使用DIS服务,由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外,DIS还可在云区域同步复制数据,为您提供数据高可用性和数据持久性。
  • 内容导航 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DIS SDK提供的接口函数进行二次开发。 章节 内容 DIS SDK能做什么 内容导航 简要介绍DIS的概念和DIS SDK的概念。 SDK下载 兼容性 如何校验软件包完整性? 介绍使用DIS SDK进行二次开发过程中涉及到的资源信息。 开通DIS服务 介绍DIS服务和DIS通道的开通方式。 获取认证信息 介绍使用DIS SDK进行二次开发前需要进行的初始化工作。 Python:准备环境~~获取数据游标 介绍使用DIS SDK进行的常用操作(匹配python)。 Java:准备环境~~变更分区数量 介绍使用DIS SDK进行的常用操作(匹配java)。 DIS服务端错误码 介绍使用DIS SDK过程中遇到异常时的响应信息。 父主题: 简介
  • 查询APP列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 listApp_test 方法中的(limit可设置单次请求返回APP列表的最大数量取值范围:1~100)。 配置参数如下: 1 startAppName="app1" #APP名称(从该通道开始返回app列表,返回的app列表不包括此app名称。) 配置好以上参数,执行listApp_sample.py文件调用Applist_test方法。 响应结果如下: 12 200{'has_more_app': False, 'apps': [{'app_id': 'kpvGNrFYfKjpqTSdPIX', 'create_time': 1543301301992, 'app_name': 'sadfghjkl'}, {'app_id': 'MtPG1lD1E7IesDuOcNt', 'create_time': 1542765418080, 'app_name': 'testAppName2'}]} 父主题: 使用SDK(Python)