-
转储至DWS - 数据接入服务 DIS
须知: Windows平台下OBS若按照文本格式读取数据文件,遇到0x1A会作为EOF符号结束数据读入造成解析错误,这是Windows平台的实现约束。由于OBS不支持BINARY形式读取,可将相应数据文件交由Linux平台下的OBS读取。
-
查询转储列表 - 数据接入服务 DIS
1 2 3 4 ListTransferTasksRquest request = new ListTransferTasksRquest(); // 指定待查询的通道名称 request.setStreamName(streamName); 配置“ListTransferTaskRequest
-
使用DIS采集增量驾驶行为日志数据 - 数据接入服务 DIS
Agent持续监控文件,若文件追加了内容则根据recordDelimiter解析后上传记录。此时要保证文件以recordDelimiter结尾,否则Agent会认为文件追加未完成,继续等待recordDelimiter写入。 false:文件不会追加内容。
-
批量暂停转储任务 - 数据接入服务 DIS
request = new BatchStopTransferTaskRequest(); BatchStopTransferTaskReq body = new BatchStopTransferTaskReq(); List<BatchTransferTask
-
查询转储任务列表 - 数据接入服务 DIS
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 total_number Integer 转储任务总数。 quota Integer 可创建的转储任务配额。 tasks Array of TransferTask objects 转储任务列表。
-
调用说明 - 数据接入服务 DIS
调用说明 数据接入服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
-
步骤2:准备DIS应用开发环境 - 数据接入服务 DIS
在左侧导航栏“Project Explorer”中右键单击所需工程,选择“Properties ”,进入“Properties for dis-sdk-demo”页面。 左侧页签栏选择“Resource”,右侧对话框显示“Resource”页面。
-
步骤2:准备DIS应用开发环境 - 数据接入服务 DIS
在左侧导航栏“Project Explorer”中右键单击所需工程,选择“Properties ”,进入“Properties for dis-sdk-demo”页面。 左侧页签栏选择“Resource”,右侧对话框显示“Resource”页面。
-
转储至MRS - 数据接入服务 DIS
转储至MRS 操作前提 转储至MRS时,不支持MRS集群3.x及以上版本,且MRS集群不能开启Kerberos认证。
-
添加MRS转储任务 - 数据接入服务 DIS
"text", "mrs_cluster_id" : "f8123fa6-99f1-4ed9-83f4-c827c7277d41", "mrs_cluster_name" : "mrscluster", "mrs_hdfs_path" : "/user",
-
添加DWS转储任务 - 数据接入服务 DIS
" : "dwstablename", "dws_delimiter" : "", "user_name" : "dbadmin", "user_password" : "userpassword", "kms_user_key_name" : "kmskey
-
添加DLI转储任务 - 数据接入服务 DIS
如果有在Console控制台使用转储任务,会提示自动创建委托,自动创建的委托名称为:dis_admin_agency 最大长度:64 deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件
-
Agent如何配置代理? - 数据接入服务 DIS
-
添加CloudTable转储任务 - 数据接入服务 DIS
如果有在Console控制台使用转储任务,会提示自动创建委托,自动创建的委托名称为:dis_admin_agency 最大长度:64 deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件
-
验证DIS Agent - 数据接入服务 DIS
HttpClientErrorException: 403 Forbidden 可能原因:DIS网关将服务器IP加入黑名单,导致请求被拦截。列入黑名单通常由于多次使用错误的配置重复调用DIS接口导致。
-
准备环境 - 数据接入服务 DIS
已从Eclipse官网下载并安装Eclipse IDE for Java Developers最新版本。 已在Eclipse中配置好JDK。 父主题: 使用SDK(Java)
-
配置样例工程 - 数据接入服务 DIS
选取合适的project Interpreter,单击“ok”。 图1 添加python 在左侧导航栏中选择“File > Settings > Editor > File Encodings”, 设置pycharm编码。
-
提交Checkpoint - 数据接入服务 DIS
= client.CommitCheckpoint(request) if err == nil { fmt.Printf("%+v\n", response) } else { fmt.Println(err) } } 更多
-
删除Checkpoint - 数据接入服务 DIS
(request) if err == nil { fmt.Printf("%+v\n", response) } else { fmt.Println(err) } } 更多 更多编程语言的SDK代码示例,请参见API Explorer
-
连接OBS - 数据接入服务 DIS
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。