MDP

MDP (toolkit modulare a Prelucrării Datelor) este o bibliotecă de algoritmi de prelucrare a datelor utilizate pe scară largă, care pot fi combinate in functie de o analogie conducte pentru a construi software mai complex de prelucrare a datelor.
Din perspectiva utilizatorului, MDP constă dintr-o colecție de algoritmi supravegheate și nesupravegheate de învățare, precum și alte date Carcase (noduri) care pot fi combinate în secvențe de procesare a datelor (fluxuri) si mai complexe înainte de alimentarea cu arhitecturi de rețea. Având în vedere un set de date de intrare, MDP are grija de succesiv de formare sau de executare toate nodurile din rețea. Acest lucru permite utilizatorului să specifice algoritmi complecși ca o serie de etape simple de prelucrare a datelor într-un mod natural.
Baza de algoritmi disponibile este în continuă creștere și cuprinde, pentru a numi doar cele mai comune, Directorul Analiza Component (PCA și NIPALS), mai multe analize independente algoritmii Component (cubica, FastICA, TDSEP, JADE, și XSFA), Analiza Feature Slow, Gauss clasificatoare, Restricted Boltzmann Masini si la nivel local Linear încorporare.
O atenție deosebită a fost luată pentru a face calcule eficientă în termeni de viteză și de memorie. Pentru a reduce cerințele de memorie, este posibil să se efectueze loturi de învățare folosind de date, precum și pentru a defini parametrii interne ale nodurilor să fie precizie singur, ceea ce face ca utilizarea de date foarte mari seturi posibil. Mai mult, subpachet "paralel" oferă o implementare paralelă a nodurilor de bază și fluxurilor.
Din perspectiva dezvoltatorului, MDP este un cadru care face punerea în aplicare a noilor algoritmi de învățare supervizată și nesupravegheat ușor și simplu. Clasa de bază, "Nod", are grijă de sarcini plictisitoare, cum ar fi de tip numeric și verificarea dimensionalitate, lăsând dezvoltator liber să se concentreze asupra punerii în aplicare a fazelor de învățare și de execuție. Din cauza interfața comună, nodul apoi se integrează automat cu restul bibliotecii și poate fi utilizat într-o rețea împreună cu alte noduri. Un nod poate avea faze de formare multiple și chiar un număr nedeterminat de faze. Acest lucru permite punerea în aplicare a algoritmilor care au nevoie pentru a colecta câteva statistici despre întreaga intrare înainte de a continua cu formarea reală, și alții care au nevoie pentru a itera peste o fază de formare până la un criteriu de convergență este îndeplinită. Capacitatea de a instrui fiecare fază, utilizând bucăți de date de intrare este menținută în cazul în care bucăți sunt generate cu iteratori. În plus, recuperarea accident este disponibil opțional: în caz de eșec, starea actuală a fluxului este salvat pentru inspecție mai târziu.
MDP a fost scris în contextul cercetării teoretice in Neuroscience, dar a fost conceput pentru a fi de ajutor în orice context în care sunt utilizate date trainable algoritmi de procesare. Simplitatea lui pe partea de utilizator, împreună cu reutilizarea nodurilor implementate, de asemenea, un instrument educațional valid face

Ce este nou în această versiune:.

• Python 3 de sprijin.
• extensii noi: caching și gradient de
.
• Un tutorial îmbunătățit și extins.
• Mai multe îmbunătățiri și bugfixes.
• Aceasta versiune este sub licență BSD.

Ce este nou în versiunea 2.5:

• 2009-06-30: Adăugat de detectare on-line de backend numerice , suport python paralel, backend symeig și backend numeric la ieșirea de teste unitare. Ar trebui să ajute la depanare.
• 2009-06-12:. Integrarea nodurile cutoff și histograma
• 2009-06-12:. Bug fix în flux paralel (tratarea exceptiilor)
• 2009-06-09: Fixed bug in LLENode când output_dim este un float. Datorită Konrad Hinsen.
• 2009-06-05:. Bug-uri fixe în flux paralel pentru mai multe Programatoare
• 2009-06-05:. Fixed un bug în strat invers, datorită Alberto Escalante
• 2009-04-29:. Adăugat o LinearRegressionNode
• 2009-03-31: PCANode nu mai plânge când matricea de covarianță a valorilor proprii negative, IFF SVD == Adevărat sau reduce == adevărat. Dacă output_dim a fost specificat are o variație dorită, valori proprii negative, sunt ignorate. Îmbunătățit mesaj de eroare pentru SFANode în caz de valori proprii negative ne acum sugerăm să adauge nodul cu o PCANode (SVD = True) sau PCANode (reduce = True).
• 2009-03-26: migrat de la pachet fir vechi la noua filetare unul. Flag adăugat pentru a dezactiva cache în procesul planificator. Există unele modificări de rupere pentru schedulers personalizate (training flux paralel sau de executare nu este afectat).
• 2009-03-25:. Suport de urmărire Adăugat revizuire svn
• 2009-03-25: Eliminat steagul copy_callable pentru planificator, aceasta este acum complet înlocuit de bifurcare TaskCallable. Aceasta nu are nici un efect pentru interfața ParallelFlow convenabil, dar schedulers personalizate obține rupt.
• 2009-03-22:. Implementat cache în ProcessScheduler
• 2009-02-22:. Make_parallel lucrează acum complet pe loc pentru a economisi memorie
• 2009-02-12:. Adaugarii metode de containere la FlowNode
• 2009-03-03:. Adaugat CrossCovarianceMatrix cu teste
• 2009-02-03:. Adaugat IdentityNode
• 2009-01-30:. Adăugat o funcție de ajutor în hinet pentru a afișa în mod direct o reprezentare HTML flux
• 2009-01-22:. Permiteți output_dim în strat să se stabilească leneș
• 2008-12-23:. Adaugat total_variance la nodul nipals
• 2008-12-23:. Setați întotdeauna explained_variance și total_variance dupa antrenament in PCANode
• 2008-12-12: Modificat symrand să se întoarcă într-adevăr matrici simetrice (și definită nu numai pozitiv). GaussianClassifierNode adaptate pentru a ține cont de acest lucru. Symrand adaptat pentru a reveni, de asemenea, matrici complexe Hermitian.
• 2008-12-11: Fixed o problemă în PCANode (când output_dim fost stabilit pentru input_dim varianța totală a fost tratat ca necunoscut). Parametru var_part fix în ParallelPCANode.
• 2008-12-11:. Adăugat caracteristică var_part la PCANode (filtru conform variație față de absoute variație)
• 2008-12-04: fix lipsă arg axa în apel amax în tutorial. Datorită Samuel John!
• 2008-12-04: Fix de date gol iterator manipulare în ParallelFlow. De asemenea, a adăugat controale iteratori goale în fluxul normal (ridica o excepție în cazul în care iterator este gol).
• 2008-11-19: modificat PCA și noduri SFA pentru a verifica valori proprii negaive în matricele COV
• 2008-11-19: symeig integrate în scipy, MDP se poate folosi de acolo acum
.
• 2008-11-18:. Adaugat ParallelFDANode
• 2008-11-18:. Actualizat trenul nevărsat de ParallelFlow să sprijine argumente suplimentare
• 2008-11-05: Rescrierea codului paralel face, suporta acum structuri hinet
.
• 2008-11-03: rescriere a repesentation creatorului hinet HTML. Din păcate, acest rupe, de asemenea, interfața publică, dar schimbările sunt destul de simple.
• 2008-10-29: avertismente Opriți provenind din procesele de la distanță în ProcessScheduler
• 2008-10-27:. Problemă fixe cu suprascrierea kwargs în metoda init de ParallelFlow
• 2008-10-24:. Fixed pretrained noduri bug in hinet.FlowNode
• 2008-10-20:. Fixed bug import critic în pachetul paralel când pp (bibliotecă python paralel) este instalat

Cerințe :

• Python
• NumPy
• SciPy