检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
maxFileCheckingMillis 否 最长文件变动检查时间，如果文件在此时间内“大小”、“修改时间”和“文件ID”都没有变化，则认为文件已经完成并开始上传。 请根据实际文件变动的频率配置此值，避免文件未完成已开始上传的情况。 若文件上传后有变动，则会重新全量上传。 单位：毫秒 说明： “i
查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件，日志中会输出类似如下日志，表示解析了[N1行(B1字节数)/N2文件(B2字节数)]，成功上传了[N3行/N4文件]。 Agent: Progress: [N1 records (B1 bytes)
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。
da-ec9eca0cf141"); // 转储MRS通过OBS服务中转，需配置OBS桶名和子文件夹名，此目录也用于保存转储失败的源数据文件。可通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis"); descriptor
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。
gz 修改“/etc/profile”配置文件。 执行vim /etc/profile命令，进入“profile”文件。 在“JAVA_HOME”配置项里添加JDK的安装目录，内容如下。 export JAVA_HOME=解压后的jre文件夹路径，请根据实际情况填写 export
setTransferTaskName(taskName); // 转储至对象存储服务(简称OBS)：OBS桶名和子文件夹名，通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis1"); descriptor.setFi
fill_missing_fields 当数据导入时，若数据源文件中一行的最后一个字段缺失的处理方式。 取值范围：true/on，false/off。缺省值为false/off。 参数为true/on，当数据导入时，若数据源文件中一行数据的最后一个字段缺失，则把最后一个字段的值设置为NULL，不报错。
打开pom.xml文件，选择<scope>provided</scope>这一行，并按Ctrl+/注释掉此行并保存。 右键单击pom.xml，选择“Maven > Reimport”，重新引入依赖包。 在DISFlinkStreamingSourceJavaExample文件内任意地方，右键选择“Create
Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X.X.X.zip”压缩包。 unzip dis-agent-X.X.X.zip 进入“dis-agent-X.X.X”文件夹。 cd dis-agent-X.X.X Windows服务器上安装DIS
settings file (settings.xml文件位置)和Local repository(本地仓库地址)配置正确。 若不正确，请修改，否则步骤 2中安装的sdk无法找到。 打开DISSparkStreamingExample文件，如果IDEA提示“No Scala SDK in
写入目标服务（如MRS)的记录数，例如通道内的一条用户记录可能转换为多条记录写入MRS服务的opentsdb。 转储文件名 转储到目标服务的文件名称。 从通道内读取的用户记录会写入文件后，再通过文件的形式转储到目标服务（如OBS、MRS） 记录数 用户转储日志开始构建到构建完成的时间间隔内，上传的记录条数。
Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin 验证DIS
is constantly resent. 该文件已经收到了 文件已经收到不需要再上传。 400 DIS.4220 The block whose sequence number is %s needs to be resent. 文件块需要重新上传 请按照指示上传对应的块。 400
图2 创建Schema2 图3 创建Schema3 创建源数据Schema（导入文件方式） 找到创建源数据Schema入口后，按照如下方法创建源数据Schema： 单击“源数据Schema”后的“导入文件”。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。例如：
新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。
y/MM/dd/HH/mm”格式生成分区字符串，用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter 否 String 转储文件的记录分隔符，用于分隔写入转储文件的用户数据。 取值范围： 逗号 ","，默认值 分号 ";" 竖线 "|" 换行符
SDK加密上传数据，读取数据也需要使用JAVA SDK配置相同的密钥。 使用配置文件初始化DIS SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk：用户在IAM中创建的AK/SK。 region：用户使用通道所在的区域。
中。如果设置数据的PartitionKey，可能会导致数据倾斜，产生通道限流。 下载数据时，需要定期的使用descriptStream接口检测通道分区数量的变化，以便DIS可以下载到所有分区的数据。 自动扩缩容 自动扩缩容原理 当上一分钟内通道触发流控（即超过通道内分区最大吞吐量
yy/MM/dd/HH/mm”格式生成分区字符串，用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter String 转储文件的记录分隔符，用于分隔写入转储文件的用户数据。 取值范围： 逗号 ","，默认值 分号 ";" 竖线 "|" 换行符
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
