問題

你要通過網絡連接發送和接受連續數據的大型數組，并盡量減少數據的復制操作。

解決方案

下面的函數利用 memoryviews 來發送和接受大數組：

# zerocopy.pydef send_from(arr, dest): view = memoryview(arr).cast(’B’) while len(view): nsent = dest.send(view) view = view[nsent:]def recv_into(arr, source): view = memoryview(arr).cast(’B’) while len(view): nrecv = source.recv_into(view) view = view[nrecv:]

為了測試程序，首先創建一個通過socket連接的服務器和客戶端程序：

>>> from socket import *>>> s = socket(AF_INET, SOCK_STREAM)>>> s.bind((’’, 25000))>>> s.listen(1)>>> c,a = s.accept()>>>

在客戶端（另外一個解釋器中）：

>>> from socket import *>>> c = socket(AF_INET, SOCK_STREAM)>>> c.connect((’localhost’, 25000))>>>

本節的目標是你能通過連接傳輸一個超大數組。這種情況的話，可以通過 array 模塊或 numpy 模塊來創建數組：

# Server>>> import numpy>>> a = numpy.arange(0.0, 50000000.0)>>> send_from(a, c)>>># Client>>> import numpy>>> a = numpy.zeros(shape=50000000, dtype=float)>>> a[0:10]array([ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])>>> recv_into(a, c)>>> a[0:10]array([ 0., 1., 2., 3., 4., 5., 6., 7., 8., 9.])>>>

討論

在數據密集型分布式計算和平行計算程序中，自己寫程序來實現發送/接受大量數據并不常見。 不過，要是你確實想這樣做，你可能需要將你的數據轉換成原始字節，以便給低層的網絡函數使用。 你可能還需要將數據切割成多個塊，因為大部分和網絡相關的函數并不能一次性發送或接受超大數據塊。

一種方法是使用某種機制序列化數據——可能將其轉換成一個字節字符串。 不過，這樣最終會創建數據的一個復制。 就算你只是零碎的做這些，你的代碼最終還是會有大量的小型復制操作。

本節通過使用內存視圖展示了一些魔法操作。 本質上，一個內存視圖就是一個已存在數組的覆蓋層。不僅僅是那樣， 內存視圖還能以不同的方式轉換成不同類型來表現數據。 這個就是下面這個語句的目的：

view = memoryview(arr).cast(’B’)

它接受一個數組 arr并將其轉換為一個無符號字節的內存視圖。這個視圖能被傳遞給socket相關函數， 比如 socket.send() 或 send.recv_into() 。 在內部，這些方法能夠直接操作這個內存區域。例如，sock.send() 直接從內存中發生數據而不需要復制。 send.recv_into() 使用這個內存區域作為接受操作的輸入緩沖區。

剩下的一個難點就是socket函數可能只操作部分數據。 通常來講，我們得使用很多不同的 send() 和 recv_into() 來傳輸整個數組。 不用擔心，每次操作后，視圖會通過發送或接受字節數量被切割成新的視圖。 新的視圖同樣也是內存覆蓋層。因此，還是沒有任何的復制操作。

這里有個問題就是接受者必須事先知道有多少數據要被發送， 以便它能預分配一個數組或者確保它能將接受的數據放入一個已經存在的數組中。 如果沒辦法知道的話，發送者就得先將數據大小發送過來，然后再發送實際的數組數據。

以上就是Python如何發送與接收大型數組的詳細內容，更多關于Python發送接收大型數組的資料請關注好吧啦網其它相關文章！