检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PROXY_HOST 否 配置代理IP，请求走代理服务器的需要配置。 请根据实际情况配置 PROXY_PORT 否 配置代理端口。 80 PROXY_PROTOCOL 否 配置代理协议。支持http和https。 http PROXY_USERNAME 否 配置代理用户名。 请根据实际情况配置 PROXY_PASSWORD
template只是一个dis插件的配置样例，并不是实际运行Flume时会读取的配置文件。Flume自身提供了样例配置文件，路径为{FLUME_HOME}/conf/flume-conf.properties.template，其中{FLUME_HOME}是Flume的安装路径，用户可以基于此配置文件修改。
s \dis_sdk_python”样例工程的存储位置。（安装之后若未找到dis_sdk_python，请尝试升级pip，或者安装huaweicloud-python-sdk-dis）： 单击“OK”完成项目导入。 配置sdk_python工程。 在左侧导航栏中选择“File >
配置样例工程 SDK下载的“huaweicloud-sdk-dis-java-X.X.X.zip ”最新版本压缩包中提供了SDK源码；DIS SDK桶中的“huaweicloud-sdk-dis-java-X.X.X.zip ”最新版本压缩包提供了示例工程，您可以在本地设备上使用
务器地址之前。 DNS配置操作在保存“/etc/resolv.conf”文件的修改操作后立即生效。 对“/etc/resolv.conf”文件的修改操作在弹性云服务器重启后会失效，需要重新进行配置。如果用户不希望每次重启弹性云服务器后都重新配置DNS，可以按如下步骤修改虚拟私有云
配置DIS Logstash Plugin DIS Logstash Plugins 分为Input与Output插件，本节介绍插件的各个配置项具体含义。 配置DIS Logstash Input 配置模板如下：（该模板为从DIS通道下载数据写入本地文件） input { dis
源数据Schema作为通道下特定转储任务进行数据转换的依据，如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema，也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。
单位：秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明
SDK加密上传数据，读取数据也需要使用JAVA SDK配置相同的密钥。 使用配置文件初始化DIS SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk：用户在IAM中创建的AK/SK。
为用户编写的配置文件路径。 检查DIS Logstash Output上传数据是否正常。 向Logstash的input端输入数据，如果Logstash没有报错数据可以正常上传到指向的通道，表示上传正常。 登录DIS控制台，等待2分钟后，查看表2中“streamName”配置的通道的
取值范围：30～900。 单位：秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。
DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外，DIS还可在云区域同步复制数据，为您提供数据高可用性和数据持久性。 主要模块 DIS分为4个功能模块，各模块功能如下： 服务控制面 完成服务的开通、删除、配置操作，并将用户信息同步到数据面。
初始化DIS客户端 您可以使用以下方法初始化DIS SDK客户端实例。其中，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参考获取认证信息。 cli = disclient(endpoint='**your-endpoint**',
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 streamname = "" #已存在的通道名称 task_name="xx" task_name配置为特定的转储任务名称，则删除通道下的该转储任务。 配置好以上参数后，执行delete_dump_task_sample
根据stream_type选取方法，参照创建通道配置方法中的参数值。 stream_type=“” #无转储通道 配置createstream_sample.py中Dump_switch方法参数值。 stream_type=“FILE” #文件类型通道 配置createstream_sample
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
