每當我開始一個新的項目時,我發現自己一次又一次地創建一個深度學習機器。
從安裝Anaconda開始,然后為Pytorch和Tensorflow創建不同的環境,這樣它們就不會相互干擾,而在這中間,你不可避免地會搞砸,然后得從頭開始。這種情況經常發生。這不僅是對時間的巨大浪費,也是令人惱火的。通過所有的堆棧溢出線程,我們經常想知道究竟出了什么問題。那么,有沒有一種方法可以更有效地做到這一點呢?在這個博客中,我將嘗試在EC2上以最小的努力建立一個深度學習服務器,這樣我就可以專注于更重要的事情。本文章由兩部分組成:設置一個預先安裝了深度學習庫的Amazon EC2機器。使用TMUX和SSH隧道設置Jupyter notebook。別擔心,這聽起來不難,只需按照步驟操作,然后單擊“下一步”。設置Amazon EC2計算機我假設你擁有一個AWS賬戶,并且可以訪問AWS控制臺,如果沒有,你可能需要注冊一個Amazon AWS賬戶。AWS控制臺:首先,我們需要轉到“Services”選項卡以訪問EC2儀表板。
在EC2儀表板上,你可以從創建實例開始。
3.亞馬遜向社區AMI(亞馬遜機器映像)預裝了深度學習軟件。要訪問這些AMI,你需要查看社區AMI,并在“搜索”選項卡中搜索“ Ubuntu深度學習”。你可以選擇其他任何的Linux風格,但是我發現Ubuntu對于滿足我的深度學習需求是最為有用。在當前設置中,我將使用深度學習AMI(Ubuntu 18.04)27.0版
4.選擇AMI后,可以選擇“實例類型”。在這里,你可以指定系統中所需的CPU,內存和GPU的數量。亞馬遜提供了許多根據個人需求選擇的選項,你可以使用“過濾依據”過濾器過濾GPU實例。在本教程中,我使用了p2.xlarge實例,該實例為NVIDIA K80 GPU提供了2,496個并行處理內核和12GiB的GPU內存。要了解不同的實例類型,你可以查看下方鏈接中的文檔,并查看價格。
5.你可以在第4步中更改連接到機器的存儲。如果你不預先添加存儲也是可以,因為以后也可以這樣做。我將存儲空間從90 GB更改為500 GB,因為大多數深度學習需求都需要適當的存儲空間。
6.僅此而已,你可以在進入最終審閱實例設置屏幕之后啟動實例。單擊啟動后,你將看到此屏幕,只需在“Key pair name”中輸入任何密鑰名稱,然后單擊“Download Key Pair”即可。你的密鑰將按照你提供的名稱下載到計算機上。對我來說,它被保存為“aws_key.pem”。完成后,你可以單擊“Launch Instances”啟動實例。
請確保此密鑰對的安全,因為每當你要登錄實例時都需要這樣做。7.現在,你可以單擊下一頁上的“View Instances”以查看你的實例。這是你的實例的樣子:
8.要連接到你的實例,只需在本地計算機上打開一個終端窗口,然后瀏覽到保存密鑰對文件并修改一些權限的文件夾。chmod 400 aws_key.pem完成此操作后,你將可以通過SSH連接到你的實例。SSH命令的格式為:ssh -i“ aws_key.pem” ubuntu @ <你的PublicDNS(IPv4)>
另外,請記住,一旦關閉實例,公用DNS可能會更改。9.你已經準備好機器并準備就緒。本機包含不同的環境,這些環境具有你可能需要的各種庫。這臺特定的機器具有MXNet,Tensorflow和Pytorch,以及不同版本的python,最好的事情是,我們已經預先安裝了所有這些功能,因此開箱即用。
-
服務器
+關注
關注
12文章
9138瀏覽量
85369 -
深度學習
+關注
關注
73文章
5502瀏覽量
121124
發布評論請先 登錄
相關推薦
評論