检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DIS Sink用于将Flume Channel中的数据上传到DIS服务。 DIS Flume Plugin安装流程如图1所示。 图1 DIS Flume Plugin安装流程 父主题： 使用DIS Flume Plugin上传与下载数据
PROXY_HOST 否 配置代理IP，请求走代理服务器的需要配置。 请根据实际情况配置 PROXY_PORT 否 配置代理端口。 80 PROXY_PROTOCOL 否 配置代理协议。支持http和https。 http PROXY_USERNAME 否 配置代理用户名。 请根据实际情况配置 PROXY_PASSWORD
单位：秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明
此处路径仅支持选择，不可手动输入。 说明： 配置此项必须已配置“CloudTable集群”并创建了HBase表。 tbl1 备份开关 用户数据转储CloudTable服务失败时，是否将转储失败的数据备份至OBS服务。 开启：是，转储失败的数据备份至OBS服务。 关闭：否，转储失败的数据不备份至OBS服务。
DIS的使用流程如下： 步骤1：开通DIS通道 用户使用DIS前需要先开通DIS通道。 步骤2：准备DIS应用开发环境 用户开发DIS应用程序前，首先需要安装应用开发工具。然后获取SDK和样例工程，并导入到用户的开发环境中。 步骤3：发送数据到DIS 基于数据上传业务开发应用程序，并运行程序，实
DIS的使用流程如下： 步骤1：开通DIS通道 用户使用DIS前需要先开通DIS通道。 步骤2：准备DIS应用开发环境 用户开发DIS应用程序前，首先需要安装应用开发工具。然后获取SDK和样例工程，并导入到用户的开发环境中。 步骤3：发送数据到DIS 基于数据上传业务开发应用程序，并运行程序，实
ssionType.ZSTD) // 配置压缩算法，当前支持lz4和zstd，默认值为lz4 // 以下配置失败时的重试次数 .withProperty(DISConfig.PROPERTY_PRODUCER_RECORDS_RETRIES, "-1")
源数据Schema作为通道下特定转储任务进行数据转换的依据，如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema，也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。
可能原因：DIS网关将服务器IP加入黑名单，导致请求被拦截。列入黑名单通常由于多次使用错误的配置重复调用DIS接口导致。 处理方法：停止Agent进程，修改配置DIS Agent中“agent.yml”配置文件的配置。停止Agent30分钟后重启Agent。 UnknownHttpStatusCodeException:
Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin 验证DIS Logstash
PROXY_HOST 否 配置代理IP，请求走代理服务器的需要配置。 请根据实际情况配置 PROXY_PORT 否 配置代理端口。 80 PROXY_PROTOCOL 否 配置代理协议。支持http和https。 http PROXY_USERNAME 否 配置代理用户名。 请根据实际情况配置 PROXY_PASSWORD
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题： 使用DIS
putRecordsRequestEntryList.add(putRecordsRequestEntry); } putRecordsRequest.setRecords(putRecordsRequestEntryList);
Connector的相关环境 准备DIS应用开发环境 参考步骤1：开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Flink Connector依赖 项目中可通过以下配置引入DIS Flink Connector依赖： <dependency>
Streaming的相关环境 准备DIS应用开发环境 参考步骤1：开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Spark Streaming依赖 项目中可通过以下配置引入DIS Spark Streaming依赖： <dependency>
端实例。 配置参数如下： 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下： 1 2 3 4 records=[{"data":
级目录可用“/”进行分隔，不可以“/”开头。 取值范围：英文字母、数字、下划线和斜杠，最大长度为50个字符。 默认配置为空。 retry_duration 否 String 用户数据导入DLI失败的失效重试时间。重试时间超过该配置项配置的值，则将转储失败的数据备份至“OBS桶/
9a732-c7d3-4b0f-8cda-ec9eca0cf141"); // 转储MRS通过OBS服务中转，需配置OBS桶名和子文件夹名，此目录也用于保存转储失败的源数据文件。可通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis");
String 用户数据转储失败的失效重试时间。重试时间超过该配置项配置的值，则将转储失败的数据备份至“OBS桶/ file_prefix/mrs_error”目录下。 取值范围：0~7200。 单位：秒。 默认配置为1800。 配置为“0”表示DIS服务不会在转储失败时进行重试。 表10
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
