xml-rpc 實(shí)現(xiàn)的文件共享

這個(gè)項(xiàng)目取材與http://www.the5fire.com/python-project8-xml-rpc.html 。是python基礎(chǔ)教程中的十個(gè)例子中的第八個(gè)。主要的實(shí)現(xiàn)原理如下：

每一個(gè)客戶端都是一個(gè)節(jié)點(diǎn)。每一個(gè)節(jié)點(diǎn)，都啟動(dòng)一個(gè) xml-rpc服務(wù)器。在 xml-rpc服務(wù)器中，維護(hù)著一個(gè)所有節(jié)點(diǎn)的集合。原文的例子，功能太少，只能下載。后來(lái)我加了一個(gè)ls 命令，可以查看包括自己的和所有節(jié)點(diǎn)的文件。原項(xiàng)目中的節(jié)點(diǎn)列表，必須是手動(dòng)給出的，相當(dāng)麻煩，是通過(guò)一個(gè)叫urlfile的文件來(lái)維護(hù)的。在我的這個(gè)項(xiàng) 目中，維護(hù) 節(jié)點(diǎn)的信息是通過(guò)程序自己學(xué)習(xí)到的。每當(dāng)一個(gè)節(jié)點(diǎn)啟動(dòng)的時(shí)候，該節(jié)點(diǎn)就會(huì)把自己的xml-rpc服務(wù)器的訪問(wèn)url，通過(guò)udp廣播的方式，廣播給某一個(gè) 端口。同時(shí)每一個(gè)節(jié)點(diǎn)，只要它啟動(dòng)后，會(huì)監(jiān)聽某一個(gè)端口上的，有關(guān)xml-rpc服務(wù)器的訪問(wèn)url的監(jiān)聽。只要收到信息，就把它寫入到節(jié)點(diǎn)列表中。通過(guò) fetch下載文件時(shí)，如果發(fā)現(xiàn)了異常，則從節(jié)點(diǎn)列表中刪除它。

現(xiàn)在假如有兩個(gè)節(jié)點(diǎn)（啟動(dòng)了client.py文件的機(jī)器） a和b，a中的節(jié)點(diǎn)列表中有b，同樣b中也有，當(dāng)a嘗試著fetch 一個(gè)文件時(shí)，如果沒(méi)有在a中查找到的話，則會(huì)去找b,但是b中的節(jié)點(diǎn)列表是a,b會(huì)去找a。。。。。這樣就形成了阻塞。原項(xiàng)目中，是通過(guò)一個(gè)url列表來(lái) 維護(hù)的。但是這個(gè)項(xiàng)目中，a機(jī)器對(duì)于自己的url是localhost,b也是localhost，但是對(duì)于a來(lái)講b就不是localhost。所以我的 項(xiàng)目中，是通過(guò)維護(hù)一個(gè)secret列表來(lái)判斷，下一個(gè)要查找的節(jié)點(diǎn)是不是已經(jīng)被查過(guò)了。但是同時(shí)得先知道下一個(gè)節(jié)點(diǎn)的secret值，但是如果下一節(jié)點(diǎn) 就是上一個(gè)節(jié)點(diǎn)的話，還是會(huì)有阻塞，所以把xml-rpc做成多線程就很必要了。新構(gòu)建一個(gè)類class ThreadRPC(ThreadingMixIn, SimpleXMLRPCServer) 。這樣ThreadRPC就變成了多線程的SimpleXMLRPCServer。

本來(lái)文件的傳輸是使用了xml-rpc。后來(lái)我把它獨(dú)立出來(lái)了。單獨(dú)作為一個(gè)文件傳輸服務(wù)，TranServer。這個(gè)文件傳輸，不使用xml- rpc，而是直接用socket。用了SocketServer框架。本來(lái)是想用asynchat的。但是后來(lái)發(fā)現(xiàn)，這個(gè)異步框架，有點(diǎn)蛋疼。比如說(shuō)它的 push方法。是會(huì)把數(shù)據(jù)放到叫producer_fifo的fifo數(shù)據(jù)結(jié)構(gòu)中。這個(gè)做會(huì)出現(xiàn)一個(gè)大問(wèn)題。我讀本地的文件速度遠(yuǎn)遠(yuǎn)快于發(fā)送的數(shù)度，當(dāng)體 積大的時(shí)候，更是如此。所以使用push傳輸，會(huì)發(fā)現(xiàn)內(nèi)存占用越來(lái)越大，越來(lái)越大。。。如果不使用push,而是使用send，會(huì)發(fā)現(xiàn)數(shù)據(jù)不同步.鑒于這 些問(wèn)題，所以我沒(méi)有采用異步，而是使用了多線程的SocketServer, ThreadingMixIn

配置文件

[global]

# 監(jiān)聽節(jié)點(diǎn)的端口

listen_port = 1111

# 數(shù)據(jù)傳送的端口

data_port = 1234

# 要共享的目錄

share_dir = /tmp/a

使用方法

啟動(dòng)節(jié)點(diǎn) : python client.py

獲取文件列表: ls

下載文件: fetch xxx

查看文件內(nèi)容: cat xxx [要查看的前n位]