检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是流控? 流控就是超过通道内分区的最大吞吐量开始限流,对资费和数据没有影响。 父主题: 一般性问题
为用户编写的配置文件路径。 检查DIS Logstash Input下载数据是否正常。 向input指向的通道上传数据,如果Logstash没有报错且output端能正常获取到数据,表示下载正常。 登录DIS控制台,等待2分钟后,查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条),表示DIS
变更源数据类型 源数据Schema作为通道下特定转储任务进行数据转换的依据,如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema,也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。 使用注册账户登录DIS控制台。
ProjectID 通道名称 https://dis.${region}.mycloud.com ${region} YOU_AK YOU_SK YOU_PROJECTID YOU_STREAM_NAME 参数顺序与含义在示例代码中有,可以参考。 // DIS终端节点,如 https://dis
处理方法:停止Agent进程,修改配置DIS Agent中“agent.yml”配置文件的配置。停止Agent30分钟后重启Agent。 UnknownHttpStatusCodeException: Unknown status code [441] 可能原因: AK/SK配置错误。 处理方法:停止Agent进程检查AK/SK配置。
权限管理 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 如果云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您
状态码 状态码是每次API请求响应的HTTPS状态码,表示本次HTTPS请求服务器返回的状态。 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。
SDK”,会显示Scala SDK列表(如果没有可以创建一个并关联scala路径),选择2.11版本的即可。 在pom.xml上单击右键,选择“Maven > Reimport”,重新引入maven依赖库。 此时IDEA打开的DISSparkStreamingExample文件内没有错误即表示开发环境配
千次扩展到数百万。 易于使用:您可以在几秒钟内创建DIS数据通道,轻松地将数据放入通道中,并构建用于数据处理的应用程序。 成本低廉:DIS没有前期成本,您只需要为实际使用的资源付费即可。 并行处理:DIS可让您用多个应用程序同时处理同一个数据通道。例如,您可以让一个应用程序运行实
是 String 已创建的通道名称。 最大长度:60 stream_id 否 String 通道唯一标识符。 当使用stream_name没有找到对应通道且stream_id不为空时,会使用stream_id去查找通道。 说明: 上传数据到被授权的通道时,必须配置此参数。 records
调用说明 数据接入服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 父主题: 使用前必读
dissource.projectId = YOU_PROJECT_ID agent.sources.dissource.endpoint = https://dis.${region}.cloud.com agent.sources.dissource.group.id = YOU_APP_NAME
取值范围:1~32,只能包含英文字母、数字和下划线。 响应参数 无 请求示例 添加CloudTable HBase转储任务 POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks {
同Kafka的默认配置,默认为latest。 此值用于没有初始偏移量或者偏移量不正确的情况下,自动设置offset位置: earliest 将偏移量自动重置为最旧的值; latest将偏移量自动重置为最新的值; none 如果在消费者组中没有发现前一个偏移量,就向消费者抛出一个异常; 其他参数
同Kafka的默认配置,默认为latest。 此值用于没有初始偏移量或者偏移量不正确的情况下,自动设置offset位置: earliest 将偏移量自动重置为最旧的值; latest将偏移量自动重置为最新的值; none 如果在消费者组中没有发现前一个偏移量,就向消费者抛出一个异常; 其他参数
配置样例工程 样例代码请查看:https://github.com/huaweicloud/huaweicloud-sdk-python-dis/tree/master/dis_sdk_python_demo。 操作步骤 huaweicloud-python-sdk-dis已发布到
PUT https://{Endpoint}/v3/{project_id}/streams/{stream_name} { "stream_name" : "stz_test", "data_duration" : 48 } 更新通道类型 PUT https://{E
MM-dd-yyyy HH:mm:ss dd-MM-yyyy HH:mm:ss 响应参数 无 请求示例 添加OBS转储任务 POST https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks {
SDK下载 在https://github.com/huaweicloud/huaweicloud-sdk-java-dis中下载DIS的Java SDK压缩包。 获取DIS SDK软件包及校验文件后,需要对软件包的完整性进行校验,参考如何校验软件包完整性?。 父主题: 相关资源