检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
template只是一个dis插件的配置样例，并不是实际运行Flume时会读取的配置文件。Flume自身提供了样例配置文件，路径为{FLUME_HOME}/conf/flume-conf.properties.template，其中{FLUME_HOME}是Flume的安装路径，用户可以基于此配置文件修改。
准备环境 配置pom.xml文件 如果已有maven工程，在pom.xml中使用如下依赖即可。 <dependency> <groupId>com.huaweicloud.dis</groupId> <artifactId>huaweicloud-dis-kafk
准备环境 配置pom.xml文件 如果已有maven工程，在pom.xml中使用如下依赖即可。 <dependency> <groupId>com.huaweicloud.dis</groupId> <artifactId>huaweicloud-dis-kafk
配置样例工程 SDK下载的“huaweicloud-sdk-dis-java-X.X.X.zip ”最新版本压缩包中提供了SDK源码；DIS SDK桶中的“huaweicloud-sdk-dis-java-X.X.X.zip ”最新版本压缩包提供了示例工程，您可以在本地设备上使用
kages \dis_sdk_python”样例工程的存储位置。（安装之后若未找到dis_sdk_python，请尝试升级pip，或者安装huaweicloud-python-sdk-dis）： 单击“OK”完成项目导入。 配置sdk_python工程。 在左侧导航栏中选择“File
验证。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 参考步骤1：开通DIS通道申请开通DIS通道，并持续上传数据到新创建的DIS通道。本次范例上传的内容为hello world。 打开pom.xml文件，选择<scope>provided</scop
选择2.11版本的即可。 在pom.xml上单击右键，选择“Maven > Reimport”，重新引入maven依赖库。 此时IDEA打开的DISSparkStreamingExample文件内没有错误即表示开发环境配置成功，此文件的逻辑是读取DIS通道中的数据并统计每个单词出现次数。
单击“网关和DNS”中“DNS服务器地址”后的“修改”按钮，弹出“修改DNS服务器地址”窗口。 将DNS服务器地址修改为所需的DNS服务器地址，然后单击“确定”，保存DNS服务器地址的修改。 重启弹性云服务器，查看“/etc/resolv.conf”文件的内容，确认其中包含待配置的DNS服务器地址，并且
Input配置项说明 配置项 是否必填 说明 默认值 stream 是 指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret
型为BLOB/JSON/CSV)，配置项说明请参见表2。 具体配置格式可以参见版本包中的“agent.yml”的样例。 关于AK/SK加密的使用说明： 参照安装DIS Agent下载安装dis-agent，利用dis-agent包中bin目录下的脚本对AK和SK进行加密，按照如下
源数据Schema作为通道下特定转储任务进行数据转换的依据，如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema，也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。
变更分区数量 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 streamname = "" #已存在的running状态通道名 target_partition_count =”3” #变更后的数量值 配置好以上参数，执行changepa
创建通道 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 根据stream_type选取方法，参照创建通道配置方法中的参数值。 stream_type=“” #无转储通道 配置createstream_sample.py中Dump_switch方法参数值。 stream_type=“FILE”
获取数据游标 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下： # startSeq与AT_S
删除转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 streamname = "" #已存在的通道名称 task_name="xx" task_name配置为特定的转储任务名称，则删除通道下的该转储任务。 配置好以上参数后，执行delete_dump_task_sample
单位：秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
