Benutzerhandbuch

• 1. Überwachtes Lernen
  • 1.1. Lineare Modelle
    • 1.1.1. Ordinary Least Squares
    • 1.1.2. Ridge-Regression und -Klassifikation
    • 1.1.3. Lasso
    • 1.1.4. Multi-Task-Lasso
    • 1.1.5. Elastic-Net
    • 1.1.6. Multi-Task-Elastic-Net
    • 1.1.7. Least Angle Regression
    • 1.1.8. LARS Lasso
    • 1.1.9. Orthogonal Matching Pursuit (OMP)
    • 1.1.10. Bayesianische Regression
    • 1.1.11. Logistische Regression
    • 1.1.12. Generalisierte Lineare Modelle
    • 1.1.13. Stochastischer Gradientenabstieg - SGD
    • 1.1.14. Robustheitsregression: Ausreißer und Modellierungsfehler
    • 1.1.15. Quantilregression
    • 1.1.16. Polynomielle Regression: Erweiterung linearer Modelle mit Basisfunktionen
  • 1.2. Lineare und quadratische Diskriminanzanalyse
    • 1.2.1. Dimensionsreduktion mittels linearer Diskriminanzanalyse
    • 1.2.2. Mathematische Formulierung der LDA- und QDA-Klassifikatoren
    • 1.2.3. Mathematische Formulierung der LDA-Dimensionsreduktion
    • 1.2.4. Schrumpfung und Kovarianzschätzer
    • 1.2.5. Schätzalgorithmen
  • 1.3. Kernel Ridge Regression
  • 1.4. Support Vector Machines
    • 1.4.1. Klassifikation
    • 1.4.2. Regression
    • 1.4.3. Dichteschätzung, Anomalieerkennung
    • 1.4.4. Komplexität
    • 1.4.5. Tipps zur praktischen Anwendung
    • 1.4.6. Kernelfunktionen
    • 1.4.7. Mathematische Formulierung
    • 1.4.8. Implementierungsdetails
  • 1.5. Stochastischer Gradientenabstieg
    • 1.5.1. Klassifikation
    • 1.5.2. Regression
    • 1.5.3. Online One-Class SVM
    • 1.5.4. Stochastischer Gradientenabstieg für spärliche Daten
    • 1.5.5. Komplexität
    • 1.5.6. Abbruchkriterium
    • 1.5.7. Tipps zur praktischen Anwendung
    • 1.5.8. Mathematische Formulierung
    • 1.5.9. Implementierungsdetails
  • 1.6. Nearest Neighbors
    • 1.6.1. Unüberwachte Nearest Neighbors
    • 1.6.2. Nearest Neighbors Klassifikation
    • 1.6.3. Nearest Neighbors Regression
    • 1.6.4. Nearest Neighbor Algorithmen
    • 1.6.5. Nearest Centroid Klassifikator
    • 1.6.6. Nearest Neighbors Transformer
    • 1.6.7. Neighborhood Components Analysis
  • 1.7. Gaußsche Prozesse
    • 1.7.1. Gaußsche Prozessregression (GPR)
    • 1.7.2. Gaußsche Prozessklassifikation (GPC)
    • 1.7.3. GPC Beispiele
    • 1.7.4. Kerne für Gaußsche Prozesse
  • 1.8. Kreuzzerlegung
    • 1.8.1. PLSCanonical
    • 1.8.2. PLSSVD
    • 1.8.3. PLSRegression
    • 1.8.4. Canonical Correlation Analysis
  • 1.9. Naive Bayes
    • 1.9.1. Gaußscher Naive Bayes
    • 1.9.2. Multinomialer Naive Bayes
    • 1.9.3. Komplementärer Naive Bayes
    • 1.9.4. Bernoulli Naive Bayes
    • 1.9.5. Kategorischer Naive Bayes
    • 1.9.6. Out-of-Core Naive Bayes Modellfitting
  • 1.10. Entscheidungsbäume
    • 1.10.1. Klassifikation
    • 1.10.2. Regression
    • 1.10.3. Multi-Output-Probleme
    • 1.10.4. Komplexität
    • 1.10.5. Tipps zur praktischen Anwendung
    • 1.10.6. Baumalgorithmen: ID3, C4.5, C5.0 und CART
    • 1.10.7. Mathematische Formulierung
    • 1.10.8. Unterstützung für fehlende Werte
    • 1.10.9. Minimaler Kosten-Komplexitäts-Pruning
  • 1.11. Ensembles: Gradient Boosting, Random Forests, Bagging, Voting, Stacking
    • 1.11.1. Gradient-Boosted Trees
    • 1.11.2. Random Forests und andere randomisierte Baum-Ensembles
    • 1.11.3. Bagging Meta-Estimator
    • 1.11.4. Voting Classifier
    • 1.11.5. Voting Regressor
    • 1.11.6. Gestapelte Generalisierung
    • 1.11.7. AdaBoost
  • 1.12. Multiclass- und Multioutput-Algorithmen
    • 1.12.1. Multiclass-Klassifikation
    • 1.12.2. Multilabel-Klassifikation
    • 1.12.3. Multiclass-Multioutput-Klassifikation
    • 1.12.4. Multioutput-Regression
  • 1.13. Merkmalsauswahl
    • 1.13.1. Entfernen von Merkmalen mit geringer Varianz
    • 1.13.2. Univariate Merkmalsauswahl
    • 1.13.3. Rekursive Merkmalselimination
    • 1.13.4. Merkmalsauswahl mit SelectFromModel
    • 1.13.5. Sequentielle Merkmalsauswahl
    • 1.13.6. Merkmalsauswahl als Teil einer Pipeline
  • 1.14. Semi-überwachtes Lernen
    • 1.14.1. Self Training
    • 1.14.2. Label Propagation
  • 1.15. Isotone Regression
  • 1.16. Wahrscheinlichkeitskalibrierung
    • 1.16.1. Kalibrierungskurven
    • 1.16.2. Kalibrierung eines Klassifikators
    • 1.16.3. Verwendung
  • 1.17. Neuronale Netzwerkmodelle (überwacht)
    • 1.17.1. Multi-Layer Perceptron
    • 1.17.2. Klassifikation
    • 1.17.3. Regression
    • 1.17.4. Regularisierung
    • 1.17.5. Algorithmen
    • 1.17.6. Komplexität
    • 1.17.7. Tipps zur praktischen Anwendung
    • 1.17.8. Mehr Kontrolle mit warm_start
• 2. Unüberwachtes Lernen
  • 2.1. Gaußsche Mischmodelle
    • 2.1.1. Gaußsches Gemisch
    • 2.1.2. Variational Bayesian Gaussian Mixture
  • 2.2. Mannigfaltigkeitslernen
    • 2.2.1. Einführung
    • 2.2.2. Isomap
    • 2.2.3. Locally Linear Embedding
    • 2.2.4. Modifiziertes Locally Linear Embedding
    • 2.2.5. Hessian Eigenmapping
    • 2.2.6. Spektrale Einbettung
    • 2.2.7. Local Tangent Space Alignment
    • 2.2.8. Mehrdimensionale Skalierung (MDS)
    • 2.2.9. t-distributed Stochastic Neighbor Embedding (t-SNE)
    • 2.2.10. Tipps für die praktische Anwendung
  • 2.3. Clustering
    • 2.3.1. Überblick über Clustering-Methoden
    • 2.3.2. K-Means
    • 2.3.3. Affinity Propagation
    • 2.3.4. Mean Shift
    • 2.3.5. Spektrales Clustering
    • 2.3.6. Hierarchisches Clustering
    • 2.3.7. DBSCAN
    • 2.3.8. HDBSCAN
    • 2.3.9. OPTICS
    • 2.3.10. BIRCH
    • 2.3.11. Bewertung der Clustering-Leistung
  • 2.4. Biclustering
    • 2.4.1. Spektrales Co-Clustering
    • 2.4.2. Spektrales Biclustering
    • 2.4.3. Biclustering-Bewertung
  • 2.5. Zerlegung von Signalen in Komponenten (Matrixfaktorisierungsprobleme)
    • 2.5.1. Hauptkomponentenanalyse (PCA)
    • 2.5.2. Kernel Principal Component Analysis (kPCA)
    • 2.5.3. Gekürzte Singulärwertzerlegung und Latent Semantic Analysis
    • 2.5.4. Dictionary Learning
    • 2.5.5. Faktorenanalyse
    • 2.5.6. Unabhängige Komponentenanalyse (ICA)
    • 2.5.7. Non-negative Matrix Factorization (NMF oder NNMF)
    • 2.5.8. Latent Dirichlet Allocation (LDA)
  • 2.6. Kovarianzschätzung
    • 2.6.1. Empirische Kovarianz
    • 2.6.2. Geschrumpfte Kovarianz
    • 2.6.3. Sparse inverse Kovarianz
    • 2.6.4. Robuste Kovarianzschätzung
  • 2.7. Neuheits- und Ausreißererkennung
    • 2.7.1. Überblick über Methoden zur Ausreißererkennung
    • 2.7.2. Novelty Detection
    • 2.7.3. Outlier Detection
    • 2.7.4. Novelty Detection mit Local Outlier Factor
  • 2.8. Dichteschätzung
    • 2.8.1. Dichteschätzung: Histogramme
    • 2.8.2. Kernel-Dichteschätzung
  • 2.9. Neuronale Netzwerkmodelle (unüberwacht)
    • 2.9.1. Restricted Boltzmann Machines
• 3. Modellauswahl und -bewertung
  • 3.1. Kreuzvalidierung: Bewertung der Schätzerleistung
    • 3.1.1. Berechnung von kreuzvalidierten Metriken
    • 3.1.2. Kreuzvalidierungs-Iteratoren
    • 3.1.3. Ein Hinweis zum Mischen
    • 3.1.4. Kreuzvalidierung und Modellauswahl
    • 3.1.5. Permutationstest-Score
  • 3.2. Optimierung der Hyperparameter eines Schätzers
    • 3.2.1. Exhaustive Grid Search
    • 3.2.2. Randomisierte Parameteroptimierung
    • 3.2.3. Suche nach optimalen Parametern mit sukzessiver Halbierung
    • 3.2.4. Tipps zur Parametersuche
    • 3.2.5. Alternativen zur Brute-Force-Parametersuche
  • 3.3. Optimierung des Entscheidungsschwellenwerts für die Klassenvorhersage
    • 3.3.1. Nachträgliche Einstellung des Entscheidungsschwellenwerts
  • 3.4. Metriken und Scoring: Quantifizierung der Qualität von Vorhersagen
    • 3.4.1. Welche Scoring-Funktion sollte ich verwenden?
    • 3.4.2. Überblick über die Scoring-API
    • 3.4.3. Der Parameter scoring: Regeln zur Modellbewertung definieren
    • 3.4.4. Klassifikationsmetriken
    • 3.4.5. Multilabel-Ranking-Metriken
    • 3.4.6. Regressionsmetriken
    • 3.4.7. Clustering-Metriken
    • 3.4.8. Dummy-Schätzer
  • 3.5. Validierungskurven: Plotten von Scores zur Bewertung von Modellen
    • 3.5.1. Validierungskurve
    • 3.5.2. Lernkurve
• 4. Metadaten-Routing
  • 4.1. Anwendungsbeispiele
    • 4.1.1. Gewichtete Bewertung und Anpassung
    • 4.1.2. Gewichtete Bewertung und ungewichtete Anpassung
    • 4.1.3. Ungewichtete Merkmalsauswahl
    • 4.1.4. Unterschiedliche Bewertungs- und Anpassungsgewichte
  • 4.2. API-Schnittstelle
  • 4.3. Status der Unterstützung für Metadaten-Routing
• 5. Inspektion
  • 5.1. Partial Dependence- und Individual Conditional Expectation-Plots
    • 5.1.1. Partielle Abhängigkeitsdiagramme
    • 5.1.2. Individual Conditional Expectation (ICE) Diagramm
    • 5.1.3. Mathematische Definition
    • 5.1.4. Berechnungsmethoden
  • 5.2. Permutation Feature Importance
    • 5.2.1. Überblick über den Permutationswichtigkeitsalgorithmus
    • 5.2.2. Beziehung zur unreinheitsbasierten Wichtigkeit in Bäumen
    • 5.2.3. Irreführende Werte bei stark korrelierten Merkmalen
• 6. Visualisierungen
  • 6.1. Verfügbare Plotting-Dienstprogramme
    • 6.1.1. Anzeigeobjekte
• 7. Datentransformationen
  • 7.1. Pipelines und zusammengesetzte Schätzer
    • 7.1.1. Pipeline: Verketten von Estimator-Objekten
    • 7.1.2. Transformation des Ziels in der Regression
    • 7.1.3. FeatureUnion: Zusammengesetzte Merkmalsräume
    • 7.1.4. ColumnTransformer für heterogene Daten
    • 7.1.5. Visualisierung von zusammengesetzten Estimator-Objekten
  • 7.2. Merkmalsextraktion
    • 7.2.1. Merkmale aus Dictionaries laden
    • 7.2.2. Feature Hashing
    • 7.2.3. Textmerkmalextraktion
    • 7.2.4. Bildmerkmalsextraktion
  • 7.3. Datenvorverarbeitung
    • 7.3.1. Standardisierung oder Mittelwertentfernung und Varianzskalierung
    • 7.3.2. Nichtlineare Transformation
    • 7.3.3. Normalisierung
    • 7.3.4. Kodierung kategorialer Merkmale
    • 7.3.5. Diskretisierung
    • 7.3.6. Imputation fehlender Werte
    • 7.3.7. Generierung polynomialer Merkmale
    • 7.3.8. Benutzerdefinierte Transformer
  • 7.4. Imputation fehlender Werte
    • 7.4.1. Univariate vs. multivariate Imputation
    • 7.4.2. Univariate Merkmalsimputation
    • 7.4.3. Multivariate Merkmalsimputation
    • 7.4.4. Imputation durch Nachbarn
    • 7.4.5. Beibehaltung der Anzahl von Merkmalen
    • 7.4.6. Kennzeichnung imputierter Werte
    • 7.4.7. Estimator-Objekte, die NaN-Werte behandeln
  • 7.5. Unüberwachte Dimensionsreduktion
    • 7.5.1. PCA: Hauptkomponentenanalyse
    • 7.5.2. Zufällige Projektionen
    • 7.5.3. Merkmalsagglomeration
  • 7.6. Zufällige Projektion
    • 7.6.1. Das Johnson-Lindenstrauss-Lemma
    • 7.6.2. Gaußsche Zufallsprojektion
    • 7.6.3. Spärliche Zufallsprojektion
    • 7.6.4. Inverse Transformation
  • 7.7. Kernel-Approximation
    • 7.7.1. Nystroem-Methode zur Kernel-Approximation
    • 7.7.2. Radial-Basis-Funktions-Kernel
    • 7.7.3. Additiver Chi-Quadrat-Kernel
    • 7.7.4. Schiefer Chi-Quadrat-Kernel
    • 7.7.5. Polynomische Kernel-Approximation über Tensor Sketch
    • 7.7.6. Mathematische Details
  • 7.8. Paarweise Metriken, Affinitäten und Kernel
    • 7.8.1. Kosinus-Ähnlichkeit
    • 7.8.2. Linearer Kernel
    • 7.8.3. Polynomischer Kernel
    • 7.8.4. Sigmoid-Kernel
    • 7.8.5. RBF-Kernel
    • 7.8.6. Laplace-Kernel
    • 7.8.7. Chi-Quadrat-Kernel
  • 7.9. Transformation des Vorhersageziels (y)
    • 7.9.1. Label-Binarisierung
    • 7.9.2. Label-Kodierung
• 8. Dienstprogramme zum Laden von Datensätzen
  • 8.1. Spielzeugdatensätze
    • 8.1.1. Iris Pflanzen Datensatz
    • 8.1.2. Diabetes Datensatz
    • 8.1.3. Optische Erkennung von handschriftlichen Ziffern Datensatz
    • 8.1.4. Linnerrud Datensatz
    • 8.1.5. Wein-Erkennung Datensatz
    • 8.1.6. Brustkrebs Wisconsin (diagnostischer) Datensatz
  • 8.2. Datensätze aus der realen Welt
    • 8.2.1. Der Olivetti Gesichter Datensatz
    • 8.2.2. Der 20 Newsgroups Text Datensatz
    • 8.2.3. Der Labeled Faces in the Wild Gesichtserkennungsdatensatz
    • 8.2.4. Wald Bodentypen
    • 8.2.5. RCV1 Datensatz
    • 8.2.6. Kddcup 99 Datensatz
    • 8.2.7. Kalifornischer Wohnungsdatensatz
    • 8.2.8. Artenverteilungsdatensatz
  • 8.3. Generierte Datensätze
    • 8.3.1. Generatoren für Klassifikation und Clustering
    • 8.3.2. Generatoren für Regression
    • 8.3.3. Generatoren für Manifold Learning
    • 8.3.4. Generatoren für Dekomposition
  • 8.4. Laden anderer Datensätze
    • 8.4.1. Beispielbilder
    • 8.4.2. Datensätze im svmlight / libsvm Format
    • 8.4.3. Herunterladen von Datensätzen aus dem openml.org Repository
    • 8.4.4. Laden von externen Datensätzen
• 9. Rechnen mit scikit-learn
  • 9.1. Strategien zur Skalierung der Rechenleistung: größere Daten
    • 9.1.1. Skalierung mit Instanzen mittels Out-of-Core Lernen
  • 9.2. Rechenleistung
    • 9.2.1. Vorhersage Latenz
    • 9.2.2. Vorhersage Durchsatz
    • 9.2.3. Tipps und Tricks
  • 9.3. Parallelität, Ressourcenverwaltung und Konfiguration
    • 9.3.1. Parallelität
    • 9.3.2. Konfigurationsschalter
• 10. Modellauslagerung
  • 10.1. Workflow-Übersicht
    • 10.1.1. Modell trainieren und speichern
  • 10.2. ONNX
  • 10.3. skops.io
  • 10.4. pickle, joblib und cloudpickle
  • 10.5. Sicherheits- & Wartungseinschränkungen
    • 10.5.1. Replikation der Trainingsumgebung in der Produktion
    • 10.5.2. Bereitstellung des Modellartefakts
  • 10.6. Zusammenfassung der wichtigsten Punkte
• 11. Häufige Fallstricke und empfohlene Vorgehensweisen
  • 11.1. Inkonsistente Vorverarbeitung
  • 11.2. Datenleck
    • 11.2.1. Wie man Datenlecks vermeidet
    • 11.2.2. Datenlecks während der Vorverarbeitung
  • 11.3. Zufälligkeit steuern
    • 11.3.1. Verwendung von None oder RandomState Instanzen und wiederholte Aufrufe von fit und split
    • 11.3.2. Häufige Fallstricke und Feinheiten
    • 11.3.3. Allgemeine Empfehlungen
• 12. Dispatching
  • 12.1. Array-API-Unterstützung (experimentell)
    • 12.1.1. Aktivierung der Array-API-Unterstützung
    • 12.1.2. Beispielverwendung
    • 12.1.3. Unterstützung für Array API-kompatible Eingaben
    • 12.1.4. Behandlung von Eingabe- und Ausgabearray-Typen
    • 12.1.5. Häufige Estimator-Prüfungen
• 13. Auswahl des richtigen Schätzers
• 14. Externe Ressourcen, Videos und Vorträge
  • 14.1. Der scikit-learn MOOC
  • 14.2. Videos
  • 14.3. Neu im wissenschaftlichen Python?
  • 14.4. Externe Tutorials