Caffe Windows

Caffe全稱Convolutional Architecture for Fast Feature Embedding，Caffe是一個(gè)開源的深度學(xué)習(xí)框架，由伯克利人工智能研究實(shí)驗(yàn)室（BAIR）開發(fā)。Caffe最初是為圖像識(shí)別和計(jì)算機(jī)視覺任務(wù)而設(shè)計(jì)的，但現(xiàn)在也可用于語(yǔ)音識(shí)別、自然語(yǔ)言處理等其他領(lǐng)域。
Caffe Windows是指Caffe針對(duì)Windows操作系統(tǒng)的版本，它提供了Windows平臺(tái)下的Caffe開發(fā)環(huán)境和工具鏈，包括預(yù)編譯的Caffe二進(jìn)制文件、CMake構(gòu)建系統(tǒng)、Python接口等。使用Caffe Windows可以方便地在Windows操作系統(tǒng)上進(jìn)行深度學(xué)習(xí)模型的訓(xùn)練和部署。

軟件介紹

caffe支持cpu和gpu的無縫切換，這一點(diǎn)在現(xiàn)在的大數(shù)據(jù)時(shí)代顯得尤為重要。但是對(duì)于我們這些正常人來說，如果讓我們?cè)趃pu上進(jìn)行編程，恐怕都要傻眼了，這時(shí)caffe就提供了一個(gè)便捷的方式，可以讓你忽略cpu和gpu的差別，僅僅一個(gè)參數(shù)就可以讓你的模型在cpu和gpu之間自由切換，大大提升了各位童鞋‘發(fā)論文’的速度。（還有一個(gè)python工具包也可以讓你方便的在cpu和gpu之間進(jìn)行切換，那就是Theano了，本人最初正是因?yàn)橹挥衟ython工具包才有支持gpu編程的功能，所以才棄matlab從python的）

軟件特色

Caffe的設(shè)計(jì)考慮了以下幾個(gè)方面：
1、表示：模型和優(yōu)化以純文本的模式定義，而不是以代碼模式；
2、速度：運(yùn)算速度對(duì)于最先進(jìn)模型和海量數(shù)據(jù)是至關(guān)重要的；
3、模塊化：新的任務(wù)和配置要求框架具有靈活性和擴(kuò)展性；
4、開放性：科研和應(yīng)用過程需要公共的代碼、可參考的模型和可再現(xiàn)性；
5、社區(qū)：通過共同討論和具體協(xié)議共同開發(fā)這個(gè)項(xiàng)目，學(xué)術(shù)研究、起步階段的原型和工業(yè)應(yīng)用可以共享各自的力量。
擁有以上諸多優(yōu)勢(shì)，經(jīng)過兩年多的版本迭代，Caffe框架已經(jīng)在學(xué)術(shù)界和工業(yè)界得到了廣泛的認(rèn)可。
那么是什么原因促使caffe的運(yùn)行速度比其它深度學(xué)習(xí)框架的運(yùn)行速度快呢？
個(gè)人認(rèn)為有以下幾點(diǎn)：
1、數(shù)據(jù)存儲(chǔ)：
Caffe生成的數(shù)據(jù)分為2種格式：
Lmdb和Leveldb
它們都是鍵/值對(duì)嵌入式數(shù)據(jù)庫(kù)管理系統(tǒng)編程庫(kù)。
雖然lmdb的內(nèi)存消耗是leveldb的1.1倍，但是lmdb的速度比leveldb快10%至15%，更重要的是lmdb允許多種訓(xùn)練模型同時(shí)讀取同一組數(shù)據(jù)集。
因此lmdb取代了leveldb成為Caffe默認(rèn)的數(shù)據(jù)集生成格式。（這點(diǎn)得吐槽下了，沒空的自行跳過此段。
之前用的是實(shí)驗(yàn)室服務(wù)器上安裝的老版本的caffe，在運(yùn)行MNIST和CIFAR-10的例子時(shí)，caffe官網(wǎng)教程上的還是生成*_leveldb格式的數(shù)據(jù)，但當(dāng)我?guī)滋旌笈躀mageNet實(shí)例時(shí)，提示我找不到$CAFFE_ROOT/build/tools/目錄下的caffe文件，后來還是通過和網(wǎng)友的tools目錄下的文件對(duì)比才發(fā)現(xiàn)，編譯后生成的老版本的caffe比新版的少了一堆東西，只好重新編譯新版本，編譯過程中發(fā)現(xiàn)缺少lmdb，查資料才發(fā)現(xiàn)，caffe已經(jīng)用lmdb取代了leveldb，而返回去看之前的MNIST和CIFAR-10實(shí)例教程，發(fā)現(xiàn)教程上也已經(jīng)將leveldb的部分改成lmdb了。還是提醒各位及時(shí)升級(jí)，有問題多看幾遍官網(wǎng)教程）
2、數(shù)據(jù)傳輸： 
當(dāng)數(shù)據(jù)在前向后向傳輸時(shí)，caffe采用blobs的形式對(duì)數(shù)據(jù)進(jìn)行傳遞或處理，它是該框架采用的標(biāo)準(zhǔn)的存儲(chǔ)接口。
下面是百度百科上對(duì)blob的一段解釋：
BLOB (binary large object)，二進(jìn)制大對(duì)象，是一個(gè)可以存儲(chǔ)二進(jìn)制文件的容器。在計(jì)算機(jī)中，BLOB常常是數(shù)據(jù)庫(kù)中用來存儲(chǔ)二進(jìn)制文件的字段類型。
BLOB是一個(gè)大文件，典型的BLOB是一張圖片或一個(gè)聲音文件，由于它們的尺寸，必須使用特殊的方式來處理（例如：上傳、下載或者存放到一個(gè)數(shù)據(jù)庫(kù)，caffe中的lmdb或leveldb）
在caffe中，blob是一個(gè)四位數(shù)組，不過在不同的場(chǎng)合，各維表示的意義不同
對(duì)于數(shù)據(jù)：Number*Channel*Height*Width
對(duì)于卷積權(quán)重：Output*Input*Height*Width
對(duì)于卷積偏置：Output*1*1*1

Caffe系統(tǒng)配置

1、硬件配置
參數(shù)規(guī)格
CPU 架構(gòu)x86_64
系統(tǒng)內(nèi)存8-32GB
CPU1
GPU 型號(hào)NVIDIA TITAN X
GPU1-2
2、服務(wù)器
參數(shù)規(guī)格
CPU 架構(gòu)x86_64
系統(tǒng)內(nèi)存32 GB
每節(jié)點(diǎn)的 CPU 數(shù)目1-2
GPU 型號(hào)
Tesla M40
Tesla P100
每節(jié)點(diǎn)的 GPU 數(shù)目1-4
3、軟件配置
參數(shù)版本
操作系統(tǒng)Ubuntu 14.04
GPU 驅(qū)動(dòng)程序367.27 或更新版本
CUDA 工具包8.0
cuDNN 庫(kù)v5.1