Ein neues Sprachmodell – Vom Gehirn inspiriert
Hierarchical Temporal Memory einschließlich kortikaler Lernalgorithmen
Semantische Faltentheorie
und ihre Anwendung im Semantischen Fingerprinting
Ein White Paper von Cortical.io
Autor: Francisco E. De Sousa Webber
Von den Neurowissenschaften inspiriertes Natural Language Understanding
Mit semantischer Faltung:
Wörter, Sätze und ganze Texte semantisch miteinander zu vergleichen
NLP-Aufgaben wie Klassifizierung und semantische Suche sind sehr effizient
das System völlig unüberwacht zu trainieren
KI-Modelle mit wenig Trainingsmaterial und ohne KI-Experte zu trainieren
Ausgehend von der Hierarchical Temporal Memory (HTM)-Theorie, einer von Numenta entwickelten computergestützten Theorie des menschlichen Kortex, hat Cortical.io eine entsprechende Theorie der Sprachrepräsentation ( Semantic Folding) entwickelt.
Semantic Folding beschreibt eine Methode zur Umwandlung von Text in eine semantischfundierte Darstellung, die als semantischer Fingerabdruck bezeichnet wird. Semantische Fingerabdrücke sind Sparse Distributed Representations (SDR) von Wörtern: große binäre Vektoren, die sehr spärlich gefüllt sind, wobei jedes Bit eine bestimmte semantische Information darstellt.
Viele praktische Probleme statistischer Natural Language Processing (NLP)-Systeme und neuerdings auch von Transformer-Modellen, wie die Notwendigkeit, große Trainingsdatensätze zu erstellen, die hohen Rechenkosten, die grundsätzliche Inkongruenz von Präzision und Recall, die komplexen Abstimmungsverfahren usw., können durch die Anwendung von Semantic Folding auf die Textverarbeitung elegant überwunden werden.
Semantische Faltung einfach erklärt:
Kurzes Video ansehen
Semantische Faltung wandelt Text in semantische Fingerabdrücke um und kapselt die Bedeutung in einer topografischen Darstellung ein.
Semantische Fingerabdrücke ermöglichen den direkten Vergleich der Bedeutungen zweier beliebiger Textstücke und zeigen Tausende von semantischen Beziehungen auf.
Wenn zwei semantische Fingerabdrücke ähnlich aussehen, bedeutet dies, dass die Texte auch semantischähnlich sind.
Mit Semantic Folding sind die semantischen Räume sprachübergreifend stabil und ermöglichen den direkten Vergleich von Texten in verschiedenen Sprachen ohne maschinelle Übersetzung.
Wie funktioniert die semantische Faltung?
Zunächst wählen wir Referenzmaterial aus, das die Domäne repräsentiert, in der das System arbeiten soll - Wikipedia für Anwendungen, die allgemeines Englisch verwenden, oder domänenbezogene Dokumentensammlungen für branchenspezifische Anwendungen.
Anschließend werden die Referenzdokumente in kontextbezogene Snippets zerlegt, die über eine 2D-Matrix verteilt werden, und zwar so, dass Snippets mit ähnlichen Themen (mit vielen gemeinsamen Wörtern) auf der Karte nahe beieinander platziert werden. Auf diese Weise entsteht eine 2D-Semantikkarte.
Im nächsten Schritt wird für jedes in den Referenzdokumenten enthaltene Wort ein Vektor erstellt, indem die Positionen aller Snippets, die dieses Wort enthalten, aktiviert werden. So entsteht ein großer, binärer, sehr spärlich gefüllter Vektor, der als Semantischer Fingerabdruck bezeichnet wird.
Ein Semantischer Fingerabdruck ist ein Vektor aus 16.384 Bits (128×128), wobei jedes Bit für einen konkreten Kontext (Thema) steht, der als eine Tasche von Wörtern der Trainingsschnipsel an dieser Position realisiert werden kann.
Der gesamte Prozess der semantischen Faltung ist völlig unüberwacht.
Anwendungen der semantischen Faltung
Semantic Folding bildet die Grundlage für High-Level-Funktionalitäten von natural language processing , die in viele verschiedene Anwendungen integriert werden können.
- Semantische Fingerabdrücke können für Sprachelemente wie Wörter, Sätze und ganze Dokumente erstellt werden.
- Es können zwei beliebige Texte verglichen werden, unabhängig von ihrer Länge oder Sprache.
- Durch die Messung der Überschneidung der semantischen Fingerabdrücke können Rechenoperationen an der Bedeutung von Textdaten durchgeführt werden.
Semantische Fingerabdrücke eignen sich besonders gut für NLP-Aufgaben wie:
- Klassifizierung: Anstatt den Klassifikator mit vielen annotierten Beispielen zu trainieren, kann ein Referenzfingerprint zur Beschreibung einer Klasse verwendet werden.
- Semantische Suche: Der Vergleich der semantischen Überschneidungen zwischen dem semantischen Fingerabdruck einer Anfrage in natürlicher Sprache und den Fingerabdrücken der indizierten Dokumente erweist sich als äußerst genau und effizient.
Vorteile der semantischen Faltung
Hohe Genauigkeit
Semantische Fingerabdrücke nutzen einen umfangreichen semantischen Merkmalsatz von 16k Parametern, der eine feinkörnige Disambiguierung von Wörtern und Konzepten ermöglicht.
Hohe Effizienz
Semantische Faltung erfordert eine Größenordnung weniger Trainingsmaterial (100s vs. 1'000s) und weniger Rechenressourcen, da sie spärlich verteilte Vektoren verwendet.
Hohe Transparenz und Erklärbarkeit
Jedes semantische Merkmal kann auf Dokumentenebene überprüft werden, so dass Verzerrungen in den Modellen beseitigt und Ergebnisse erklärt werden können.
Hohe Flexibilität und Skalierbarkeit
Semantic Folding kann auf jede Sprache und jeden Anwendungsfall angewandt werden, und Geschäftsanwender können die Modelle leicht anpassen.
Die Zukunft der KI ist hocheffiziente KI
Was ist eine Sparse Distributed Representation?
