检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。
图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。
tar -zxvf JRE包名.tar.gz 修改“/etc/profile”配置文件。 执行vim /etc/profile命令，进入“profile”文件。 在“JAVA_HOME”配置项里添加JDK的安装目录，内容如下。
此目录也用于保存转储失败的源数据文件。
须知： Windows平台下OBS若按照文本格式读取数据文件，遇到0x1A会作为EOF符号结束数据读入造成解析错误，这是Windows平台的实现约束。由于OBS不支持BINARY形式读取，可将相应数据文件交由Linux平台下的OBS读取。
通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis1"); descriptor.setFilePrefix("transfertask"); // 转储周期，单位s descriptor.setDeliverTimeInterval
在DISFlinkStreamingSourceJavaExample文件内任意地方，右键选择“Create 'DISFlinkStreamingSourceJavaExample'”。
此时IDEA打开的DISSparkStreamingExample文件内没有错误即表示开发环境配置成功，此文件的逻辑是读取DIS通道中的数据并统计每个单词出现次数。
将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X.X.X.zip”压缩包。 unzip dis-agent-X.X.X.zip 进入“dis-agent-X.X.X”文件夹。
转储文件名 转储到目标服务的文件名称。 从通道内读取的用户记录会写入文件后，再通过文件的形式转储到目标服务（如OBS、MRS） 记录数 用户转储日志开始构建到构建完成的时间间隔内，上传的记录条数。 数据量（字节） 用户转储日志开始构建到构建完成的时间间隔内，上传数据的大小。
该文件已经收到了 文件已经收到不需要再上传。 400 DIS.4220 The block whose sequence number is %s needs to be resent. 文件块需要重新上传 请按照指示上传对应的块。
图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。
图1 创建Schema1 图2 创建Schema2 图3 创建Schema3 创建源数据Schema（导入文件方式） 找到创建源数据Schema入口后，按照如下方法创建源数据Schema： 单击“源数据Schema”后的“导入文件”。
使用配置文件初始化DIS SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk：用户在IAM中创建的AK/SK。 region：用户使用通道所在的区域。
将源数据的时间戳使用“yyyy/MM/dd/HH/mm”格式生成分区字符串，用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter 否 String 转储文件的记录分隔符，用于分隔写入转储文件的用户数据。
将源数据的时间戳使用“yyyy/MM/dd/HH/mm”格式生成分区字符串，用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter String 转储文件的记录分隔符，用于分隔写入转储文件的用户数据。
cli = disclient(endpoint='**your-endpoint**', // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； //
图2 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。
表5 Options 参数 是否必选 参数类型 描述 fill_missing_fields 否 String 数据入库时，数据源文件中某行的最后一个字段缺失时，请选择是直接将字段设为Null，还是在错误表中报错提示。
hdfs_prefix_folder 否 String 在MRS集群HDFS中存储通道文件的自定义目录，多级目录可用"/"进行分隔。 取值范围：0~50个字符。 默认配置为空。 obs_bucket_path 是 String 临时存储该通道数据的OBS桶名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
