Wrote about PyTorch in general

This commit is contained in:
Clemens Dautermann 2020-01-27 15:58:51 +01:00
parent 1fe643d464
commit 1b79adf131
6 changed files with 14 additions and 13 deletions

View file

@ -104,7 +104,7 @@
\newlabel{AvgPool}{{25}{20}{Average Pooling mit $2\times 2$ großen Submatritzen\newline Aus: Dominguez-Morales, Juan Pedro. (2018). Neuromorphic audio processing through real-time embedded spiking neural networks. Abbildung 33}{figure.caption.23}{}} \newlabel{AvgPool}{{25}{20}{Average Pooling mit $2\times 2$ großen Submatritzen\newline Aus: Dominguez-Morales, Juan Pedro. (2018). Neuromorphic audio processing through real-time embedded spiking neural networks. Abbildung 33}{figure.caption.23}{}}
\@writefile{lof}{\defcounter {refsection}{0}\relax }\@writefile{lof}{\contentsline {figure}{\numberline {26}{\ignorespaces Gegen\IeC {\"u}berstellung von Max und Average Pooling\relax }}{21}{figure.caption.24}\protected@file@percent } \@writefile{lof}{\defcounter {refsection}{0}\relax }\@writefile{lof}{\contentsline {figure}{\numberline {26}{\ignorespaces Gegen\IeC {\"u}berstellung von Max und Average Pooling\relax }}{21}{figure.caption.24}\protected@file@percent }
\newlabel{Pooling_Mnist}{{26}{21}{Gegenüberstellung von Max und Average Pooling\relax }{figure.caption.24}{}} \newlabel{Pooling_Mnist}{{26}{21}{Gegenüberstellung von Max und Average Pooling\relax }{figure.caption.24}{}}
\@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {section}{\numberline {4}PyTorch}{22}{section.4}\protected@file@percent } \@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {section}{\numberline {4}PyTorch}{21}{section.4}\protected@file@percent }
\@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {subsection}{\numberline {4.1}Datenvorbereitung}{22}{subsection.4.1}\protected@file@percent } \@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {subsection}{\numberline {4.1}Datenvorbereitung}{22}{subsection.4.1}\protected@file@percent }
\@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {subsection}{\numberline {4.2}Definieren des Netzes}{22}{subsection.4.2}\protected@file@percent } \@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {subsection}{\numberline {4.2}Definieren des Netzes}{22}{subsection.4.2}\protected@file@percent }
\@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {subsection}{\numberline {4.3}Trainieren des Netzes}{22}{subsection.4.3}\protected@file@percent } \@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {subsection}{\numberline {4.3}Trainieren des Netzes}{22}{subsection.4.3}\protected@file@percent }

View file

@ -1,4 +1,4 @@
This is pdfTeX, Version 3.14159265-2.6-1.40.20 (TeX Live 2019/Debian) (preloaded format=pdflatex 2020.1.22) 25 JAN 2020 16:41 This is pdfTeX, Version 3.14159265-2.6-1.40.20 (TeX Live 2019/Debian) (preloaded format=pdflatex 2020.1.22) 27 JAN 2020 15:58
entering extended mode entering extended mode
restricted \write18 enabled. restricted \write18 enabled.
%&-line parsing enabled. %&-line parsing enabled.
@ -1683,11 +1683,11 @@ Underfull \hbox (badness 10000) in paragraph at lines 449--532
[20 <../graphics/MaxpoolSample2.png> <../graphics/Average-pooling-example.png>] [20 <../graphics/MaxpoolSample2.png> <../graphics/Average-pooling-example.png>]
Package hyperref Warning: Token not allowed in a PDF string (PDFDocEncoding): Package hyperref Warning: Token not allowed in a PDF string (PDFDocEncoding):
(hyperref) removing `\newline' on input line 536. (hyperref) removing `\newline' on input line 537.
Package hyperref Warning: Token not allowed in a PDF string (PDFDocEncoding): Package hyperref Warning: Token not allowed in a PDF string (PDFDocEncoding):
(hyperref) removing `\newline' on input line 541. (hyperref) removing `\newline' on input line 542.
[21 <../graphics/mnist_5/conv_pool/upper_horiz_pooled.png> <../graphics/mnist_5 [21 <../graphics/mnist_5/conv_pool/upper_horiz_pooled.png> <../graphics/mnist_5
/conv_pool/left_vert_pooled.png> <../graphics/mnist_5/conv_pool/lower_horiz_poo /conv_pool/left_vert_pooled.png> <../graphics/mnist_5/conv_pool/lower_horiz_poo
@ -1695,19 +1695,19 @@ led.png> <../graphics/mnist_5/conv_pool/right_vert_pooled.png> <../graphics/mni
st_5/conv_pool/upper_horiz_avgpooled.png> <../graphics/mnist_5/conv_pool/left_v st_5/conv_pool/upper_horiz_avgpooled.png> <../graphics/mnist_5/conv_pool/left_v
ert_avgpooled.png> <../graphics/mnist_5/conv_pool/lower_horiz_avgpooled.png> <. ert_avgpooled.png> <../graphics/mnist_5/conv_pool/lower_horiz_avgpooled.png> <.
./graphics/mnist_5/conv_pool/right_vert_avgpooled.png>] [22] ./graphics/mnist_5/conv_pool/right_vert_avgpooled.png>] [22]
Underfull \hbox (badness 10000) in paragraph at lines 558--562 Underfull \hbox (badness 10000) in paragraph at lines 559--563
\T1/LinuxBiolinumT-TLF/m/n/10 Quelle: https://towardsdatascience.com/common-los \T1/LinuxBiolinumT-TLF/m/n/10 Quelle: https://towardsdatascience.com/common-los
s-functions-in-machine- s-functions-in-machine-
[] []
Underfull \hbox (badness 10000) in paragraph at lines 563--567 Underfull \hbox (badness 10000) in paragraph at lines 564--568
\T1/LinuxBiolinumT-TLF/m/n/10 https://www.bloomberg.com/news/articles/2019-12-1 \T1/LinuxBiolinumT-TLF/m/n/10 https://www.bloomberg.com/news/articles/2019-12-1
1/face-recognition-tech- 1/face-recognition-tech-
[] []
Underfull \hbox (badness 10000) in paragraph at lines 568--572 Underfull \hbox (badness 10000) in paragraph at lines 569--573
\T1/LinuxBiolinumT-TLF/m/n/10 https://www.technologyreview.com/f/614986/ai-face \T1/LinuxBiolinumT-TLF/m/n/10 https://www.technologyreview.com/f/614986/ai-face
-recognition-racist-us- -recognition-racist-us-
[] []
@ -1735,11 +1735,11 @@ p/Max-pooling_/_Pooling
\openout7 = `Grundlagen_des_maschinellen_lernens.lof'. \openout7 = `Grundlagen_des_maschinellen_lernens.lof'.
[24] [24]
Package atveryend Info: Empty hook `BeforeClearDocument' on input line 574. Package atveryend Info: Empty hook `BeforeClearDocument' on input line 575.
Package atveryend Info: Empty hook `AfterLastShipout' on input line 574. Package atveryend Info: Empty hook `AfterLastShipout' on input line 575.
(./Grundlagen_des_maschinellen_lernens.aux) (./Grundlagen_des_maschinellen_lernens.aux)
Package atveryend Info: Executing hook `AtVeryEndDocument' on input line 574. Package atveryend Info: Executing hook `AtVeryEndDocument' on input line 575.
Package atveryend Info: Executing hook `AtEndAfterFileList' on input line 574. Package atveryend Info: Executing hook `AtEndAfterFileList' on input line 575.
Package rerunfilecheck Info: File `Grundlagen_des_maschinellen_lernens.out' has Package rerunfilecheck Info: File `Grundlagen_des_maschinellen_lernens.out' has
not changed. not changed.
(rerunfilecheck) Checksum: 6B7BC4D35395A22E712E0049E7FB94ED;2880. (rerunfilecheck) Checksum: 6B7BC4D35395A22E712E0049E7FB94ED;2880.
@ -1777,7 +1777,7 @@ hare/texlive/texmf-dist/fonts/type1/urw/times/utmb8a.pfb></usr/share/texlive/te
xmf-dist/fonts/type1/urw/times/utmr8a.pfb></usr/share/texlive/texmf-dist/fonts/ xmf-dist/fonts/type1/urw/times/utmr8a.pfb></usr/share/texlive/texmf-dist/fonts/
type1/urw/times/utmr8a.pfb></usr/share/texlive/texmf-dist/fonts/type1/urw/times type1/urw/times/utmr8a.pfb></usr/share/texlive/texmf-dist/fonts/type1/urw/times
/utmri8a.pfb> /utmri8a.pfb>
Output written on Grundlagen_des_maschinellen_lernens.pdf (25 pages, 1428419 by Output written on Grundlagen_des_maschinellen_lernens.pdf (25 pages, 1429823 by
tes). tes).
PDF statistics: PDF statistics:
551 PDF objects out of 1000 (max. 8388607) 551 PDF objects out of 1000 (max. 8388607)

View file

@ -530,6 +530,7 @@ Die Dimension der Submatritzen beträgt meißt $2\times2$. In Abbildung \ref{Poo
\end{figure} \end{figure}
\\ \\
\section{PyTorch} \section{PyTorch}
Pytorch ist ein von der Facebook Research Group entwickeltes Framework für machinelles Lernen in Python. Es ermöglicht Programmierern, maschinelles Lernen einfach und hochoptimiret umzusetzen. Dafür stellt es unter anderem eine Schnittstelle für Grafikkarten bereit und lieferet viele Funktionen, die oft benötigt werden. So muss beispielsweise die Gradientenberechnung oder die Berechnung der Fehlerfunktion nicht in jedem Projekt erneut implementiert werden. Die Grundlage der Pytorch Library ist der Datentyp \glqq Tensor''. Dabei handelt es sich im wesentlichen um eine Matrix, die optimierte Funktionen für maschinelles Lernen aufweist und auf Grafikkarten transferiert werden kann. Alle Daten werden in Form dieser Tensoren gespeichert und verarbeitet. Sollen also Bilder erkannt werden, müssen diese erst zu Tensoren konvertiert werden. Neben den Fehlerfunktionen und der Gradientenberechnung ist besonders die Einfachheit mit der ein Netz in Pytorch definiert werden kann bezeichnend. Pytorch ermöglicht es also, dass die Entwicklung auf die Logik selber fokusiert sein kann und trotzdem komplexe mathematische Funktionen verwendet werden können. Häufig genannte Alternativen zu Pytorch sind die Frameworks \glqq Tensorflow'' oder \glqq Keras''. Tensorflow wird von Google entwickelt und ist auch für andere Sprachen als Python verfügbar.
\subsection{Datenvorbereitung} \subsection{Datenvorbereitung}
\subsection{Definieren des Netzes} \subsection{Definieren des Netzes}
\subsection{Trainieren des Netzes} \subsection{Trainieren des Netzes}

View file

@ -49,7 +49,7 @@
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsubsection}{\numberline {3.7.2}Pooling Layers}{19}{subsubsection.3.7.2}% \contentsline {subsubsection}{\numberline {3.7.2}Pooling Layers}{19}{subsubsection.3.7.2}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {4}PyTorch}{22}{section.4}% \contentsline {section}{\numberline {4}PyTorch}{21}{section.4}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.1}Datenvorbereitung}{22}{subsection.4.1}% \contentsline {subsection}{\numberline {4.1}Datenvorbereitung}{22}{subsection.4.1}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax