DE:KI: Difference between revisions

From IP7 Wiki
No edit summary
No edit summary
 
(One intermediate revision by the same user not shown)
Line 71: Line 71:
Hier wird festgelegt welche Ordner für das Training verwenden werden. <br/>
Hier wird festgelegt welche Ordner für das Training verwenden werden. <br/>
In diese Ordner wird später die "automatische Klassifizierung" die Zuordnungen vornehmen. <br/>
In diese Ordner wird später die "automatische Klassifizierung" die Zuordnungen vornehmen. <br/>
Die KI kann ein Patent bzw. eine Patentfamilie dann auch in mehrere Ordner zuordnen. <br/>
Es können maximal 500 Ordner ausgewählt werden. <br/>
Es können maximal 500 Ordner ausgewählt werden. <br/>


Line 101: Line 102:


Der aktuelle Status kann über den Aktualisieren-Button abgeholt werden: <br/>
Der aktuelle Status kann über den Aktualisieren-Button abgeholt werden: <br/>
[[File:AI_classifier_Status_refresh.jpg|300px]]
[[File:AI_classifier_Status_refresh.jpg|500px]]


Sobald der "Classifier" mit dem Training fertig ist (Status "Bereit"), kann dieser in einer automatischen Klassifizierung eingesetzt werden. <br/>
Sobald der "Classifier" mit dem Training fertig ist (Status "Bereit"), kann dieser in einer automatischen Klassifizierung eingesetzt werden. <br/>
Line 107: Line 108:
==== Training Statistik ====
==== Training Statistik ====
Auswertung über den letzten Trainings-Lauf. <br/>
Auswertung über den letzten Trainings-Lauf. <br/>
[[File:AI_classifier_Status_analysis.jpg|300px]]
[[File:AI_classifier_Status_analysis.jpg|500px]]


Weitere Informationen zu den Begriffen Precision, F1Score und Recall: <br/>
Weitere Informationen zu den Begriffen Precision, F1Score und Recall: <br/>

Latest revision as of 09:22, 26 April 2024

Aktuell befinden sich diese Funktionen noch in der Pilot-Phase.
Einzelne Funktionen, Oberflächen und Umfang können sich in Zukunft ändern.

Die KI-Funktionen sind standardmäßig nicht im Compass verfügbar.
Es handelt sich um ein zusätzliches Modul, welches auf Anfrage durch IP7 aktiviert werden kann.
Für das KI-Modul fallen zusätzliche Kosten an.
Im Compass wurde die KI von Averbis integriert.

Die KI kann (in Zukunft) für verschiedene Bereiche im Compass eingesetzt werden:

  • Ordnerzuordnung bzw. automatische Klassifizierung von Patenten
  • automatische Aussortierung von "nicht relevanten" Treffern (demnächst verfügbar!)
  • Sortierung der Ergebnisliste (demnächst verfügbar!)

Das Hauptmerkmal einer KI ist, dass diese anhand vorgegebener Daten trainiert wird.
Durch ständige menschliche Korrektur und erneutes Training soll die KI sich verbessern bzw. "lernen".
KI ist also immer auf menschliche Leistungen angewiesen.
Die Qualität der KI ist somit auch immer abhängig von diesen vorgegebenen Daten bzw. dass ein Mensch die KI korrigiert.


Ordnerzuordnung

Im Compass werden Ordnerstrukturen angelegt um Patente nach individuellen Kriterien zu klassifizieren.
Es kann z.B. ein Technologiebaum angelegt werden um Patente bestimmten Technologien zuzuordnen.
Mit der Funktion "Automatische Klassifizierung" kann die KI diese Aufgabe der Zuordnung übernehmen.

Classifier

AI classifier.jpg

Bevor die KI Patente in Ordner zuordnen kann, muss die KI anhand von bestehenden Zuordnungen lernen bzw. trainiert werden.
Es wird eine bestehende Ordnerstruktur mit bereits korrekt zugeordneten Patenten benötigt.

Ein "Classifier" kann anschließend angelegt werden.
Hierbei werden einige Einstellungen festgelegt, wobei sich viele der Einstellungen auf das Training auswirken:

  • Aktivieren

Hier wird festgelegt ob der Classifier verwendet werden kann bzw. ob ein regelmäßiges automatisches Training stattfindet.

  • Name
  • Training Frequenz

Hier wird festgelegt wie oft der Classifier automatisch trainiert.
Da sich die Inhalte der Ordner über die Zeit ändern, ist es sinnvoll den Classifier regelmäßig trainieren zu lassen.

  • Max. # Dokumente pro Ordner

Wie viele Dokumente pro Ordner darf die KI maximal für das Training verwenden.
Zu wenige Dokumente pro Ordner wird die Qualität des Trainings verringern.
Zu viele Dokumente pro Ordner und das Training wird sehr viel Zeit benötigen.

Am Besten bekommt die KI immer gleich viele Dokumente für jeden Ordner.
Wenn es z.B. wenige Ordner mit ca. 500 Zuordnungen gibt und viele Ordner mit ca. 50 Zuordnungen.
Dann sollte der Wert auf 50 eingestellt werden, damit ausgeglichen trainiert werden kann und somit bessere Ergebnisse erzielt werden können.
Der Grenzwert liegt hier bei maximal 1.000 Dokumente.
Ist die Anzahl in einem Ordner höher, werden über eine zufällige Auswahl 1.000 Dokumente aus diesem Ordner genommen.

  • Min. # Dokumente für Training notwendig

Wie viele Dokumente müssen mindestens im Ordner sein, damit diese im Training verwendet werden.
Sind in einem Ordner z.B. nur 3 Dokumente, wird die KI keine guten Erkenntnisse daraus schließen können.
Es muss mindestens ein Wert von 10 Dokumenten angegeben werden.
Ist die Anzahl in einem Ordner kleiner, werden diese Ordner/Dokumente nicht verwendet.

  • Min. confidence Level

"Confidence Level" (in Prozent) beschreibt wie sicher sich die KI mit der Zuordnung ist.
Alles unter dem minimalen Wert landet im "nicht klassifizierbar" Ordner.
Dieser wird später in der automatischen Klassifizierung festgelegt.

  • Ordner

Hier wird festgelegt welche Ordner für das Training verwenden werden.
In diese Ordner wird später die "automatische Klassifizierung" die Zuordnungen vornehmen.
Die KI kann ein Patent bzw. eine Patentfamilie dann auch in mehrere Ordner zuordnen.
Es können maximal 500 Ordner ausgewählt werden.

  • Daten

Hier wird festgelegt welche Daten die KI für das Training bekommt:
Titel, Zusammenfassung, Ansprüche, Beschreibung, IPC, CPC
Wenn Beschreibung ausgewählt ist, bekommt die KI dadurch deutlich mehr Daten für das Training.
Das wird sich dann auch auf die Trainingszeit entsprechend auswirken.

  • Status

Hier wird angezeigt in welchem Status sich der Classifier zurzeit befindet:

"Training notwendig"
Nachdem der Classifier erstellt wurde, ist ein Training notwendig.

"Training"
Der Classifier befindet sich gerade im Training.
Während des Trainings können automatische Klassifizierungen, welche diesen Classifier verwenden, nicht ausgeführt werden.

"Bereit"
Der Classifier ist bereit für den Einsatz in einer automatischen Klassifizierung.
Das bedeutet ebenfalls, dass das letzte Training erfolgreich durchgeführt wurde.

"Fehler"
Ein Fehler ist aufgetreten.
Ein erfolgreiches Training ist Voraussetzung für den Einsatz in einer automatischen Klassifizierung.

  • Letztes Training

Hier wird angezeigt, wann das letzte (erfolgreiche) Training ausgeführt wurde.

Der aktuelle Status kann über den Aktualisieren-Button abgeholt werden:
AI classifier Status refresh.jpg

Sobald der "Classifier" mit dem Training fertig ist (Status "Bereit"), kann dieser in einer automatischen Klassifizierung eingesetzt werden.

Training Statistik

Auswertung über den letzten Trainings-Lauf.
AI classifier Status analysis.jpg

Weitere Informationen zu den Begriffen Precision, F1Score und Recall:
https://en.wikipedia.org/wiki/Precision_and_recall

Limitierungen

Insgesamt (über alle im Classifier verwendeten Ordner) werden maximal 10.000 Patente für das Training verwendet.
Sind in den Ordner mehr als 10.000 Patente, werden diese proportional reduziert.
Wenn danach ein Ordner unter der Mindestanzahl von Patenten liegt, werden die ausgewählten Patente bis zur Mindestanzahl erhöht.
Das bedeutet, dass die Grenze nicht exakt 10.000 beträgt.


Automatische Klassifizierung

AI automatic classification.jpg

Für eine automatische Klassifizierung gibt es folgende Einstellungen:

  • Aktivieren

Hier wird festgelegt ob die Klassifizierung automatisch ausgeführt wird.
Mithilfe dieser Option kann eine aktive automatische Klassifizierung bei Problemen schnell gestoppt werden.

  • Name
  • Überwachte Ordner

Hier werden die "Eingangsordner" festgelegt.
Alle Patente in diesen Ordnern werden dann durch die KI klassifiziert.
Und logischerweise alle Patente, welche in Zukunft diesen Ordnern zugeordnet werden.

Nicht zu verwechseln mit den Ordnern des Classifiers:
Die Ordner, in welche die KI die Patente klassifiziert/zuordnet, werden im Classifier definiert.

  • "nicht klassifizierbar" Ordner

Hier werden alle Patente zugeordnet, welche nicht durch die KI klassifiziert werden können.

  • Classifier

Hier wird der vorher angelegte Classifier ausgewählt.

  • Status

"idle" - die automatische Klassifizierung läuft aktuell nicht.
"running" - die automatische Klassifizierung wird im Moment ausgeführt.

  • Zuletzt überprüft am

Es wird regelmäßig überprüft ob "neue" Patente für die automatische Klassifizierung vorhanden sind.
Sind "neue" Patente vorhanden, wird die automatische Klassifizierung gestartet.
Das Datum zeigt an, wann zuletzt eine Überprüfung stattgefunden hat.
Eine Überprüfung kann auch manuell über den Button "Ausführen" ausgelöst werden.


Ein Classifier kann theoretisch für mehrere automatische Klassifizierungen verwendet werden.
Ein Beispiel hierzu:

Es gibt mehrere Fahrzeugtypen die überwacht werden und dann in einen Technologiebaum zugeordnet werden sollen:
"1, vehicle types" -> "bicycle" und "motorbike"

Es gibt eine Ordnerstruktur bzw. Technologiebaum in welche alle Fahrzeugtypen (Fahrzeugen mit 2 Rädern) zugeordnet werden sollen:
"2, two wheel technologies"

Die Treffer, welche die KI nicht klassifizieren kann, sollen jedoch getrennt voneinander gespeichert werden.
Deshalb wird für "bicycle" und "motorbike" jeweils eine automatische Klassifizierung erstellt.
Der Classifier muss in diesem Fall jedoch nur einmal angelegt werden.


Limitierungen

Es können maximal 5.000 Treffer/Patente in einem Lauf klassifiziert werden.

Sind es mehr als 5.000 wird die automatische Klassifizierung nicht ausgeführt und deaktiviert.
Wird der Lauf manuell ausgelöst, wird eine entsprechende Warnung angezeigt.
Wenn der Lauf dann trotzdem gestartet wird, werden nur bis zu 5.000 Patente klassifiziert.

Patente, welche in einem Lauf klassifiziert wurden, müssen nicht aus dem Eingangsordner heraus genommen werden.
Diese werden im nächsten Lauf als bereits klassifiziert erkannt und nicht erneut klassifiziert.
Um ein oder mehrere Patente erneut klassifizieren zu lassen, müssen diese aus dem Ordner heraus genommen werden und anschließend wieder zugeordnet werden.
Durch diese erneute Zuordnung werden diese nicht mehr als bereits klassifiziert erkannt.