Applications of Information Theory and Factor Graphs for Machine Learning ; Anwendungen von Informationstheorie und Graphischen Modellen im maschinelles Lernen

This thesis consists of three parts. In the first part we develop a generalized information-theoretic cost function for Markov aggregation and apply it also to the co-clustering problem. In the second part we propose a new clustering algorithm, Extended Affinity Propagation, which provides both global and local perspectives of data. The third part focuses on a deeper investigation of the recently proposed idea to train deep neural networks using the Information Bottleneck principle. ; Diese Arbeit hat drei Teile. Im ersten Teil entwickeln wir eine allgemeine informationtheoretische Kostenfunktion für Markov Aggregation und verwenden diese auch für Co-Clustering. Im zweiten Teil entwickeln wir einen neuen Clustering-Algorithmus, Extended Affinity Propagation. Der Schwerpunkt des dritten Teils ist eine genaue Untersuchung eines neuen Ansatzes: das Training tiefer neuronaler Netze nach dem Prinzip des Information Bottleneck.