diff --git a/doc/Grundlagen_des_maschinellen_lernens.aux b/doc/Grundlagen_des_maschinellen_lernens.aux index 3ba87a5..33fa07c 100644 --- a/doc/Grundlagen_des_maschinellen_lernens.aux +++ b/doc/Grundlagen_des_maschinellen_lernens.aux @@ -24,5 +24,13 @@ \babel@aux{ngerman}{} \abx@aux@cite{1} \abx@aux@segm{0}{0}{1} +\abx@aux@cite{2} +\abx@aux@segm{0}{0}{2} \@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {section}{\numberline {1}Was ist maschinelles Lernen?}{3}{section.1}} +\@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {section}{\numberline {2}Neuronale Netze}{3}{section.2}} +\@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {subsection}{\numberline {2.1}Maschinelles Lernen und menschliches Lernen}{3}{subsection.2.1}} +\@writefile{lof}{\defcounter {refsection}{0}\relax }\@writefile{lof}{\contentsline {figure}{\numberline {1}{\ignorespaces Neuron \newline Quelle: simple.wikipedia.org/wiki/File:Neuron.svg\newline Copyright: CC Attribution-Share Alike von Nutzer Dhp1080,\newline bearbeitet}}{4}{figure.1}} +\@writefile{toc}{\defcounter {refsection}{0}\relax }\@writefile{toc}{\contentsline {subsection}{\numberline {2.2}Der Aufbau eines neuronalen Netzes}{4}{subsection.2.2}} +\@writefile{lof}{\defcounter {refsection}{0}\relax }\@writefile{lof}{\contentsline {figure}{\numberline {2}{\ignorespaces Ein einfaches neuronales Netz}}{5}{figure.2}} \bibcite{1}{1} +\bibcite{2}{2} diff --git a/doc/Grundlagen_des_maschinellen_lernens.bcf b/doc/Grundlagen_des_maschinellen_lernens.bcf index 7de2e4b..296e538 100644 --- a/doc/Grundlagen_des_maschinellen_lernens.bcf +++ b/doc/Grundlagen_des_maschinellen_lernens.bcf @@ -1923,6 +1923,7 @@ 1 + 2 diff --git a/doc/Grundlagen_des_maschinellen_lernens.lof b/doc/Grundlagen_des_maschinellen_lernens.lof new file mode 100644 index 0000000..6b8d7d0 --- /dev/null +++ b/doc/Grundlagen_des_maschinellen_lernens.lof @@ -0,0 +1,6 @@ +\boolfalse {citerequest}\boolfalse {citetracker}\boolfalse {pagetracker}\boolfalse {backtracker}\relax +\babel@toc {ngerman}{} +\defcounter {refsection}{0}\relax +\contentsline {figure}{\numberline {1}{\ignorespaces Neuron \newline Quelle: simple.wikipedia.org/wiki/File:Neuron.svg\newline Copyright: CC Attribution-Share Alike von Nutzer Dhp1080,\newline bearbeitet}}{4}{figure.1} +\defcounter {refsection}{0}\relax +\contentsline {figure}{\numberline {2}{\ignorespaces Ein einfaches neuronales Netz}}{5}{figure.2} diff --git a/doc/Grundlagen_des_maschinellen_lernens.log b/doc/Grundlagen_des_maschinellen_lernens.log index eff43c1..bf36e3a 100644 --- a/doc/Grundlagen_des_maschinellen_lernens.log +++ b/doc/Grundlagen_des_maschinellen_lernens.log @@ -1,4 +1,4 @@ -This is pdfTeX, Version 3.14159265-2.6-1.40.18 (TeX Live 2017/Debian) (preloaded format=pdflatex 2019.9.28) 14 NOV 2019 16:30 +This is pdfTeX, Version 3.14159265-2.6-1.40.18 (TeX Live 2017/Debian) (preloaded format=pdflatex 2019.9.28) 16 NOV 2019 23:31 entering extended mode restricted \write18 enabled. %&-line parsing enabled. @@ -957,31 +957,84 @@ Package babel Info: Redefining ngerman shorthand "~ LaTeX Warning: Citation '1' on page 3 undefined on input line 32. Package babel Info: Redefining ngerman shorthand "| -(babel) in language append on input line 37. +(babel) in language append on input line 40. Package babel Info: Redefining ngerman shorthand "~ -(babel) in language append on input line 37. +(babel) in language append on input line 40. Package babel Info: Redefining ngerman shorthand "| -(babel) in language append on input line 37. +(babel) in language append on input line 42. Package babel Info: Redefining ngerman shorthand "~ -(babel) in language append on input line 37. +(babel) in language append on input line 42. +<../graphics/Neuron.png, id=41, 299.9205pt x 158.994pt> +File: ../graphics/Neuron.png Graphic file (type png) + +Package pdftex.def Info: ../graphics/Neuron.png used on input line 47. +(pdftex.def) Requested size: 299.91975pt x 158.9936pt. + +LaTeX Warning: Citation '2' on page 3 undefined on input line 53. + +Package babel Info: Redefining ngerman shorthand "| +(babel) in language append on input line 54. +Package babel Info: Redefining ngerman shorthand "~ +(babel) in language append on input line 54. +Package babel Info: Redefining ngerman shorthand "| +(babel) in language append on input line 54. +Package babel Info: Redefining ngerman shorthand "~ +(babel) in language append on input line 54. [3] -Package atveryend Info: Empty hook `BeforeClearDocument' on input line 45. Package babel Info: Redefining ngerman shorthand "| -(babel) in language append on input line 45. +(babel) in language append on input line 54. Package babel Info: Redefining ngerman shorthand "~ -(babel) in language append on input line 45. +(babel) in language append on input line 54. +<../graphics/Neural_Net.png, id=47, 548.16795pt x 410.13225pt> +File: ../graphics/Neural_Net.png Graphic file (type png) + +Package pdftex.def Info: ../graphics/Neural_Net.png used on input line 58. +(pdftex.def) Requested size: 345.0pt x 258.1281pt. + +Underfull \hbox (badness 10000) in paragraph at lines 55--62 + + [] + Package babel Info: Redefining ngerman shorthand "| -(babel) in language append on input line 45. +(babel) in language append on input line 62. Package babel Info: Redefining ngerman shorthand "~ -(babel) in language append on input line 45. - [4] -Package atveryend Info: Empty hook `AfterLastShipout' on input line 45. - (./Grundlagen_des_maschinellen_lernens.aux) -Package atveryend Info: Executing hook `AtVeryEndDocument' on input line 45. -Package atveryend Info: Executing hook `AtEndAfterFileList' on input line 45. +(babel) in language append on input line 62. +Package babel Info: Redefining ngerman shorthand "| +(babel) in language append on input line 62. +Package babel Info: Redefining ngerman shorthand "~ +(babel) in language append on input line 62. +[4 <../graphics/Neuron.png>] +Package babel Info: Redefining ngerman shorthand "| +(babel) in language append on input line 67. +Package babel Info: Redefining ngerman shorthand "~ +(babel) in language append on input line 67. +Package babel Info: Redefining ngerman shorthand "| +(babel) in language append on input line 67. +Package babel Info: Redefining ngerman shorthand "~ +(babel) in language append on input line 67. + [5 <../graphics/Neural_Net.png>] +(./Grundlagen_des_maschinellen_lernens.lof) +\tf@lof=\write7 +\openout7 = `Grundlagen_des_maschinellen_lernens.lof'. + +Package atveryend Info: Empty hook `BeforeClearDocument' on input line 79. +Package babel Info: Redefining ngerman shorthand "| +(babel) in language append on input line 79. +Package babel Info: Redefining ngerman shorthand "~ +(babel) in language append on input line 79. +Package babel Info: Redefining ngerman shorthand "| +(babel) in language append on input line 79. +Package babel Info: Redefining ngerman shorthand "~ +(babel) in language append on input line 79. + [6] +Package atveryend Info: Empty hook `AfterLastShipout' on input line 79. + +(./Grundlagen_des_maschinellen_lernens.aux) +Package atveryend Info: Executing hook `AtVeryEndDocument' on input line 79. +Package atveryend Info: Executing hook `AtEndAfterFileList' on input line 79. Package rerunfilecheck Info: File `Grundlagen_des_maschinellen_lernens.out' has not changed. -(rerunfilecheck) Checksum: 5A65843CD811F2A7F4ABBB99378158B5;63. +(rerunfilecheck) Checksum: 055B9A55B854667925F6AC101E779933;288. LaTeX Warning: There were undefined references. @@ -997,24 +1050,28 @@ un.xml'. ) Here is how much of TeX's memory you used: - 14979 strings out of 492982 - 241086 string characters out of 6134896 - 708431 words of memory out of 5000000 - 18388 multiletter control sequences out of 15000+600000 - 8615 words of font info for 31 fonts, out of 8000000 for 9000 + 15015 strings out of 492982 + 241662 string characters out of 6134896 + 716462 words of memory out of 5000000 + 18405 multiletter control sequences out of 15000+600000 + 9376 words of font info for 34 fonts, out of 8000000 for 9000 1145 hyphenation exceptions out of 8191 - 35i,10n,43p,875b,1793s stack positions out of 5000i,500n,10000p,200000b,80000s + 35i,10n,43p,1514b,1816s stack positions out of 5000i,500n,10000p,200000b,80000s -Output written on Grundlagen_des_maschinellen_lernens.pdf (4 pages, 79531 bytes -). +fonts/type1/public/amsfonts/cm/cmr6.pfb> +Output written on Grundlagen_des_maschinellen_lernens.pdf (6 pages, 289371 byte +s). PDF statistics: - 60 PDF objects out of 1000 (max. 8388607) - 47 compressed objects within 1 object stream - 9 named destinations out of 1000 (max. 500000) - 9 words of extra memory for PDF output out of 10000 (max. 10000000) + 119 PDF objects out of 1000 (max. 8388607) + 96 compressed objects within 1 object stream + 21 named destinations out of 1000 (max. 500000) + 43 words of extra memory for PDF output out of 10000 (max. 10000000) diff --git a/doc/Grundlagen_des_maschinellen_lernens.out b/doc/Grundlagen_des_maschinellen_lernens.out index d7ed11a..6300b43 100644 --- a/doc/Grundlagen_des_maschinellen_lernens.out +++ b/doc/Grundlagen_des_maschinellen_lernens.out @@ -1 +1,4 @@ \BOOKMARK [1][-]{section.1}{Was ist maschinelles Lernen?}{}% 1 +\BOOKMARK [1][-]{section.2}{Neuronale Netze}{}% 2 +\BOOKMARK [2][-]{subsection.2.1}{Maschinelles Lernen und menschliches Lernen}{section.2}% 3 +\BOOKMARK [2][-]{subsection.2.2}{Der Aufbau eines neuronalen Netzes}{section.2}% 4 diff --git a/doc/Grundlagen_des_maschinellen_lernens.pdf b/doc/Grundlagen_des_maschinellen_lernens.pdf index 870e607..719e6af 100644 Binary files a/doc/Grundlagen_des_maschinellen_lernens.pdf and b/doc/Grundlagen_des_maschinellen_lernens.pdf differ diff --git a/doc/Grundlagen_des_maschinellen_lernens.synctex.gz b/doc/Grundlagen_des_maschinellen_lernens.synctex.gz index 1d12ad1..a01a8cc 100644 Binary files a/doc/Grundlagen_des_maschinellen_lernens.synctex.gz and b/doc/Grundlagen_des_maschinellen_lernens.synctex.gz differ diff --git a/doc/Grundlagen_des_maschinellen_lernens.tex b/doc/Grundlagen_des_maschinellen_lernens.tex index b3e892f..242fc69 100644 --- a/doc/Grundlagen_des_maschinellen_lernens.tex +++ b/doc/Grundlagen_des_maschinellen_lernens.tex @@ -34,12 +34,46 @@ Die wohl bekannteste und am häufigsten zitierte Definiton maschinellen Lernens ---Arthur Samuel, 1959 \end{flushright} \end{quote} +Beim maschinellen lernen werden Computer also nicht mit einem bestimmten Algorythmus programmiert um eine Aufgabe zu lösen, sondern lernen eigenständig diese Aufgabe zu bewältigen. Dies geschieht zumeist, indem das Programm aus einer großen, bereits \glqq gelabelten'', Datenmenge mit Hilfe bestimmter Methoden, die im Folgenden weiter erläutert werden sollen, lernt, gewisse Muster abzuleiten um eine ähnliche Datenmenge selber \glqq labeln'' zu können. Als Label bezeichent man in diesem Fall die gewünschte Ausgabe des Programmes. Dies kann beispielsweise eine Klassifikation sein. Soll das Programm etwa handgeschriebene Ziffern erkennen können, so bezeichnet man das (bearbeitete) Bild der Ziffer als \glqq Input Verctor'' und die Information welche Ziffer der Copmputer hätte erkennen sollen, als \glqq Label ''. Soll jedoch maschinell erlernt werden, ein simuliertes Auto zu fahren, so bestünde der Input Vector aus Sensorinformationen und das Label würde aussagen, in welche Richtung das Lenkrad hätte gedreht werden sollen, wie viel Gas das Programm hätte geben sollen oder andere Steuerungsinformationen. Der Input Vector ist also immer die Eingabe, die der Computer erhält um daraus zu lernen und das Label ist die richtige Antwort, die vom Programm erwartet wurde. Für maschinelles Lernen wird also vor allem eins benötigt: Ein enormer Datensatz, der bereits gelabelt wurde, damit das Programm daraus lernen kann.\newline +Natürlich werden für maschinelles Lernen trotzdem Algorythmen benötigt. Diese Algorythmen sind jedoch keine problemspezifischen Algorythmen, sondern Algorythmen für maschinelles Lernen. Eine der populärsten Methoden des maschinellen Lernens ist das sogenannte \glqq Neuronale Netz''. + +\section{Neuronale Netze} +bei Neuronalen Netzen handelt es sich um eine programminterne Struktur, die für das maschinelle Lernen genutzt wird. Wie der Name bereits vermuten lässt, ist diese Methode ein Versuch das menschliche Lernen nachzuahmen. +\subsection{Maschinelles Lernen und menschliches Lernen} +Das menschliche Gehirn ist aus sogenannten \glqq Neuronen'' aufgebaut. Ein Neuron ist eine Nervenzelle, die elektrische oder chemische Impulse annimmt, und gegebenenfalls einen elektrischen oder chemischen Impuls weitergibt. Die Nervenzellen berühren sich nicht direkt sondern sind nur über die sogenannten Synnapsen verbunden, über die diese Signale übertragen werden, sodass sich ein hoch komplexes Netzwerk von milliarden von Neuronen ergibt.\footnote{ +Diese Definition ist stark vereinfacht. Sie enthält ausschließlich die wesentlichen Komponenten um das menschliche Gehirn mit einem neuronalen Netz vergleichen zu können.} +\begin{figure}[h] + \centering + \includegraphics[]{../graphics/Neuron.png} + \caption[Neuron \newline + Quelle: simple.wikipedia.org/wiki/File:Neuron.svg\newline + Copyright: CC Attribution-Share Alike von Nutzer Dhp1080,\newline + bearbeitet]{Ein Neuron wie es im Gehirn vorliegt} +\end{figure} +Ein neuronales Netz ist ähnlich aufgebaut. Es besteht aus \glqq Neuronen'', die eine theoretisch beliebige Anzahl von Eingaben annehmen können und mit einer entsprechenden Ausgabe reagieren, sowie Verbindungen zwischen den Neuronen. Auch das Lernprinzip entspricht dem eines Menschen. Das Netz nimmt immer Zahlen zwischen 0 und 1 als Eingabe an und berechnet eine entsprechende Ausgabe. Es erhält anschließend die Information, wie die richtige Lösung gelautet hätte und lernt dann aus seinen Fehlern, indem es gewisse Werte, die in die Berechnung einfließen, anpasst. Analog lernt ein Mensch, indem er ausprobiert, gegebenenfalls scheitert, anschließend die richtige Antwort durch eine externe Quelle erhält und somit aus seinem Fehler lernt. Im Menschlichen Gehirn verknüpfen sich Dabei oft genutzte neuronale Verbindungen stärker und weniger benutzte Verbindungen bauen sich ab\cite{2}. Die Verstärkung und der Abbau entsprechen dem Ändern der Gewichtung einer Verbindung im neuronalen Netz. Die Gewichtung ist eine Eigenschaft der Verbindung, die eine zentrale Rolle in der Berechnung spielt und soll im folgenden weiter erläutert werden. Diese Ähnlichkeiten sind kein Zufall, sondern viel mehr Intention. Ein neuronales Netz ist nämlich der gezielte Versuch das menschliche Lernen nachzuahmen um maschinelles Lernen zu ermöglichen. +\subsection{Der Aufbau eines neuronalen Netzes} +Ein neuronales Netz besteht aus Neuronen und Verbindungen zwischen diesen. Es gibt einen sogenannten \glqq Input Layer'', der die Daten annimmt, eine beliebige Anzahl von sogenannten \glqq Hidden Layers'', in denen das eigentliche Lernen statt findet, und einen sogenannten \glqq Output Layar'', der für die Datenausgabe verantwortlich ist. Die Anzahl der Neuronen ist nach oben nicht begrenzt, wird jedoch zumeist der Aufgabe angepasst. Im Input Layer ist meißt ein Neuron pro Pixel des Eingabebildes vorhanden und im Output Layer ein Neuron pro möglicher Ausgabe. Sollen also 28$\times$28 Pixel große Bilder handgeschriebener Ziffern klassifiziert werden, so gibt es 784 Eingabeneuronen, da jedes Bild 784 Pixel groß ist, und 10 Ausgabeneuronen, da es 10 Ziffern gibt. +\begin{figure}[h] +\centering +\includegraphics[width=\linewidth]{../graphics/Neural_Net.png} +\caption{Ein einfaches neuronales Netz} +\end{figure} +Jedes Neuron hat außerdem eine sogenannte Aktivierungsfunktion, die sich von Neuron zu Neuron unterscheiden kann, und jede Kante einen asoziierten Bias. Ein neuronales Netz besteht also aus:\newline +\begin{enumerate} + \item Neuronen mit gegebenenfalls verschiedenen Aktivierungsfunktionen, aufgeteilt in ein Input-, beliebig viele Hidden- und ein Output-Layer. + \item Verbindungen zwischen diesen Neuronen, die jeweils einen eigenen Bias besitzen. +\end{enumerate} +Sind alle Neuronen eines Layers jeweils mit allen Neuronen des nächsten Layers verbunden, wird das Layer als \glqq fully connected layer'' bezeichnet. \newpage \begin{thebibliography}{99} \bibitem{1} Hands-On Machine Learning with Scikit-Learn and TensorFlow\newline - by Aurélien Géron\newline - published: March 2017 O'Reilly Media, Inc\newline + von Aurélien Géron\newline + Veröffentlicht: March 2017 O'Reilly Media, Inc\newline ISBN: 9781491962282 + \bibitem{2} + Die Logistik des Lernens eine Studie der LMU München\newline + Quelle: www.uni-muenchen.de/forschung/news/2013/\newline f-71-13\_kiebler\_nervenzellen.html --abgerufen am 16.11.2019 \end{thebibliography} +\listoffigures \end{document} \ No newline at end of file diff --git a/doc/Grundlagen_des_maschinellen_lernens.toc b/doc/Grundlagen_des_maschinellen_lernens.toc index 75b7af0..24b9227 100644 --- a/doc/Grundlagen_des_maschinellen_lernens.toc +++ b/doc/Grundlagen_des_maschinellen_lernens.toc @@ -2,3 +2,9 @@ \babel@toc {ngerman}{} \defcounter {refsection}{0}\relax \contentsline {section}{\numberline {1}Was ist maschinelles Lernen?}{3}{section.1} +\defcounter {refsection}{0}\relax +\contentsline {section}{\numberline {2}Neuronale Netze}{3}{section.2} +\defcounter {refsection}{0}\relax +\contentsline {subsection}{\numberline {2.1}Maschinelles Lernen und menschliches Lernen}{3}{subsection.2.1} +\defcounter {refsection}{0}\relax +\contentsline {subsection}{\numberline {2.2}Der Aufbau eines neuronalen Netzes}{4}{subsection.2.2}