检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Re
功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo
功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo
setStreamName(streamName); // 配置待更新的转储任务名称 OBSDestinationDescriptorRequest descriptor = new OBSDestinationDescriptorRequest(); descriptor.setTransferTaskName(taskName);
DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外,DIS还可在云区域同步复制数据,为您提供数据高可用性和数据持久性。 主要模块 DIS分为4个功能模块,各模块功能如下: 服务控制面 完成服务的开通、删除、配置操作,并将用户信息同步到数据面。
cloudtable_destination_descriptor 否 CloudtableDestinationDescriptorRequest object 转储目的地为CloudTable的参数列表。 表4 CloudtableDestinationDescriptorRequest 参数 是否必选
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname="dis-test1"#已存在的通道名 task_name="test_1" #查询该通道下的xx转储任务 配置好以上参数后,执行describe_dump_task_sample
Linux服务器安装请参考如下步骤: 使用root用户,进入“/opt”目录。 cd /opt 创建目录“jre”。 mkdir -p jre 设置JDK安装目录的权限。 chmod -R 640 jre/ 将压缩包上传到“jre”目录下,执行如下命令解压JRE安装包。 tar -zxvf JRE包名
String 用户数据转储失败的失效重试时间。重试时间超过该配置项配置的值,则将转储失败的数据备份至“OBS桶/ file_prefix/mrs_error”目录下。 取值范围:0~7200。 单位:秒。 默认配置为1800。 配置为“0”表示DIS服务不会在转储失败时进行重试。 响应参数
单位:秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON,CSV,转储至OBS(对应转储文件格式Parquet)时需要配置的差异化参数,共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明
使用“WinSCP”工具将“huaweicloud-sdk-dis-x.x.x.zip”上传至Linux系统任一目录。 x.x.x表示DIS SDK包的版本号。 使用“PuTTY”工具登录Linux系统,进入到“huaweicloud-sdk-dis-x.x.x.zip”所在目录,执行如下命令,获取DIS SDK压缩包的校验码。
Flink Connector Demo 这里获取“dis-flink-connector-X.X.X.zip”压缩包。解压“dis-flink-connector-X.X.X.zip”压缩包,解压之后获得以下目录: “huaweicloud-dis-flink-connector-d
Array of PrincipalRule objects 通道授权信息列表。 表4 PrincipalRule 参数 参数类型 描述 principal String 授权用户ID。 principal_name String 授权用户名。如果授权给租户下的所有子用户,格式为:domainName
Request 可能原因:配置DIS Agent中“DISStream”或“projectId”的配置不正确。 处理方法:停止Agent进程后检查配置。 HttpClientErrorException: 403 Forbidden 可能原因:DIS网关将服务器IP加入黑名单,导致请求
符。 默认配置为空。 retry_duration 否 String 用户数据导入DLI失败的失效重试时间。重试时间超过该配置项配置的值,则将转储失败的数据备份至“OBS桶/ file_prefix/dli_error”目录下。取值范围:0~7200。单位:秒。默认配置为1800
obs_destination_description OBSDestinationDescriptorRequest object 转储目的地为OBS的参数列表。 dws_destination_descripton DWSDestinationDescriptorRequest object
OBSDestinationDescriptorRequest obsDestinationDescriptorbody = new OBSDestinationDescriptorRequest(); obsDestinationDescriptorbody.withTaskName("newtask")