如何通过API调用alluxio 文件系统

article/2025/9/19 6:30:03

如何通过API调用alluxio 文件系统


一般来说,不论从spark,hfds等等大数据分布式框架,甚至使用公有云api,来说,与集群进行交互不外乎以下这些套路:

  1.  设置configuration(有很重要的主节点host,port,等等)
  2.  通过configuration生成context
  3.  通过context,得到一个client
  4. 这时候,通过这个client去调用各种法方法

当然alluxio文件系统,也不例外,但是也稍微有那么一点点小个性。


我们可以先介绍一下,alluxio的对外接口 alluxio.client.file.FileSystem


我们可以看到FileSystem有一个内部类Factory,然后就是一些方法,基本囊括了文件系统的各种方法,当然其中也有个别方法已经在现在版本不建议使用,未来甚至可能被移除(如loadMetadata)。

风格也是一致,每种功能都有两个重载方法,一个只需要 AlluxioURI一个参数,另外一个除了AlluxioURI,还需要一个对应的Options参数。

Options这个参数阿里云api中的Options很像,他们是一个类,用成员变量记录了该操作的各种参数。拿createFile举例说明,我们如果想要按照自己搭建的alluxio集群的配置文件中的设置去创建文件(若未设置某配置项,则为默认值),我们就使用createFile(AlluxioURI) 这个方法,在FIleSystem的实现类BaseFileSystem的createFile(AlluxioURI)中,会调用一个CreateFileOption的defaults()方法,这个方法就是从配置项中读取各个操作参数到自己实例的成员变量中,这样用这么一个Opthions,进行创建。倘若,你想使用的创建方式不是集群里配置的那样,但是又不想停掉集群,更改配置,那么你就可以自己创建一个Options,设置好各个成员,然后作为参数传入,就能达到效果。这体现了接口的灵活性。


以下为得到FIleSystem的方法:

		Configuration.set(PropertyKey.MASTER_HOSTNAME,host);ClientContext.init();FileSystem fs = FileSystem.Factory.get();

这里alluxio 与spark 不同,并不需要那样得到conf,再通过conf得到context,这样一直传参数。

alluxio:

首先,使用Configuration的set方法,传入一个枚举的MASTER_HOSTNAME,和一个String的参数(这里可以是能解析的域名,主机名,ip地址),这样,就在Configuration中,配置了好了最重要的一项,master的地址。port可以不用写,因为它有默认的19998。

然后,ClientContext.init方法,可以将从设置好的Configuration读到master的地址和端口,并传给ClientContext。

最后,我们通过FileSystem的内部类Factory的get方法得到FileSystem的实现类BaseFileSystem。


有了这个fs,之后就可能各种调用啦。~~~~


谢谢。



http://chatgpt.dhexx.cn/article/MyVaI8Mn.shtml

相关文章

office产品密钥如何找回

明明自己有正版office产品密钥却因为时间太久种种原因找不到了,登录微软账户查看信息也没有,怎么办?? 不要着急,只要你还记得你当时激活office的微软账号和密码,可以登录微软账户,follow me&am…

qq恢复官方网站服务器繁忙,qq恢复官方网站

删除好友,又后悔了!!?? 想把好友找回来? 世上没有后悔药,但是系统是还是人性化的, 所以,QQ官方给广大用户提供了好友找回功能。登录qq以恢复官方网络以恢复朋友操作。 在qq恢复官方网…

手机计算机怎么恢复出厂设置密码,如何找回手机锁屏密码?

原标题:如何找回手机锁屏密码? 世界上最遥远的距离不是我站在你面前你却不知道我爱你,而是手机明明在手上偏偏忘了锁屏密码! 我们总是会有犯傻的时候,比如突然想到一个数字觉得还不错,于是想着给手机改个密…

Vue + element + Springboot 通过邮箱找回密码

Vue element Springboot 通过邮箱找回密码 需求分析一、导入二、流程分析 详细设计一、前端界面设计1. 登录界面2. 重置密码界面 二、后端代码设计1. JavaMail配置2. QQ邮箱开启STMP授权3. 配置applicaiton.yml文件4. 新建文件夹5. 邮件配置:6. User相关类&#xf…

5年前带留言的公众号还可以找回,让我来教你该怎么做

今天注定是很神奇的一天,因为今天我居然找回了5年前注册的公众号,一个带留言功能的公众号。 了解公众号的人可能都知道,腾讯在2018年3月宣布暂停新注册公众号的留言功能,这之后注册的公众号都不具备留言功能。 这成了很多号主运营…

怎么找回丢失的手机?

手机定位这个功能,每个智能手机都必备的。但是如果手机不小心丢失了,能通过手机本身懂的定位功能,找回自己的手机吗?其实大部分智能手机,都能通过定位功能找回手机的。但是使用查找手机定位必须已打开查找手机功能且丢…

Word文档恢复,2大方案教你找回没有保存或者被删除的数据

我们经常会使用到Word文档来记录各种东西,有时候Word文档输入数据到一半,就不小心关闭,却没有保存。或者在电脑清理的时候,不小心把重要的Word文档数据删除了,又或者文档已经删除了一段时间。 Word文档能恢复吗&#…

计算机用户删除文件找回,电脑上删除的文件如何找回 业内人士分享小技巧

电脑上删除的文件如何找回?众所周知,使用数据恢复软件可以找回被删除的文件,但是并非所有删除的文件都可以顺利找回。想知道如何最大限度地确保完整恢复删除的文件吗?小编接下来就将为大家分享关于如何完整找回误删除文件的方法。 如何找回被…

手机被偷完整找回方案

近日看到一些有关于手机失窃的案例,回想起自己身边的同学和朋友也有被偷手机的经历。想着记录一下,提供一些防御方法。之前学Android开发时也有探究过定位原理,今天正好放到文章一起。 丢失场景 场景一:遗落在餐厅或饭店。这种情况…

Android手机怎么找回微信好友,安卓手机微信好友删了怎么找回 恢复误删好友

安卓手机微信好友删了怎么找回?微信误删的好友怎么恢复回来呢?有人说我删了很久了,现在后混了想要把删除的好友再加回来,怎样操作才能成功恢复回来呢?根据数据恢复原理表明,就算是专业的数据恢复软件&#…

找回你 C 盘丢失的空间(SpaceSniffer)

什么鬼!C 盘空间满了!我分了 120GB 啊!!!是不是要删软件删游戏,是不是要重装系统? 尤其是程序员,那么多开发环境(Visual Studio 不说话 ?)空间占用那叫一个大…

如何找回office秘钥

我的office秘钥前段时间遗失并找回,很简单就几步,希望我的方法可以帮助大家。 1.登录微软官网。 2.点击登录你以前激活过的微软账户。 3.点击如下图蓝色链接文字, 进入如下界面后,点击服务与订阅。 4.如图,点击查看…

服务器里照片如何找回,怎么样恢复删除的照片?教你一个简单办法,一键轻松找回!...

原标题:怎么样恢复删除的照片?教你一个简单办法,一键轻松找回! 最近看到有不少网友疑惑自己删除的照片怎么恢复,经常使用手机拍照的小伙伴可能更容易遇到这种情况,今天就给大家分享几种恢复的方法&#xff…

电脑录音文件删除怎么找回——告诉你3个专业方法

录音文件通常是指存储声音内容的文件,比较常见的录音文件格式通常有mp3、wav、wma、aiff等。而在电脑中删除文件是很频繁的操作,那么电脑中删除的录音文件怎样恢复呢?下面分享专业恢复电脑上删除的录音文件方法,一起来看看吧&…

手机html丢失,手机丢了号码没了 攻略教你一分钟全找回

某天,小编正在办公室里认真地工作(领导你看到了吗?)突然,企鹅“滴滴滴”地响了起来,小编漫不经心地把鼠标移上去,突然心跳加速,居然是女神在找我! “你……你在吗?” (怎么办怎么办&…

手把手教你找回学信网原来的登记手机号码

问题 在更改学信网手机号码时,如果忘了原密码,该怎么办?又如何找回学信网原来登记的手机号码?   最近帮我老婆登陆学信网查询验证学历时,发现她的登记手机号码是读大学时候的,早就换了,现在已…

java: Iterator的使用

本文以ListIterator为例,其他的Iterator使用基本相同。 注意,Iterator不指向任何元素,它指向的是元素的间隔。 如图:方块内是List中的元素,圆圈内是Iterator。 iterator的cursor标识了它的位置。 一、获取ListItera…

使用Iterator遍历map以及list用法

Iterator接口简介: Java中的Iterator**功能比较简单,只能单向移动:   (1) 使用方法iterator()要求容器返回一个Iterator。    Iterator iter list.iterator(); // 注意iterator,首字母小写    第一次调用Iterator的next()方…

DataSet与Iterator用法总结

参考文章: TensorFlow全新的数据读取方式:Dataset API入门教程 TensorFlow 利用Dataset读取和构建数据 【Tensorflow】Dataset 中的 Iterator 一、基本概念 1.DataSet 简单来说,Dataset可以看作是相同类型“元素”的有序列表,其中,单个“元素”可以是向量,也可以是字符串…

iterator在vector中的使用

iterator在vector中的使用 iterator也被称为迭代器,可以指向一个范围内(如queue、vector、set等等)的元素,与指针类似。迭代器分为五个不同的类别,输入、输出、向前、双向、随机访问。 在vector中的迭代器属于随机访问…