Schlüsselwörter in Oberbegriffe wandeln

[Jenö B. (Firma: Angeln, Outdoor und Humor) (selbstdual)]

Kennt jemand einen Dienst oder Algorithmus, der Schlüsselwörter in 
Oberbegriffe zusammenfaßt?

Also etwa

cola
fanta
sprite
wasser

wird zu

Getränke

und

cola
fanta
brot
sprite
wasser
kaffee

wird zu

Getränke
Essen

oder

Nahrungsmittel

[PittyJ (Gast)]

Mit sed die Strings tauschen. Das pipen zu sort. Und danach die 
Duplikate mit uniq entfernen.

[Daniel A. (daniel-a)]

Mit einer grossen datenbank könnte das gehen. Google könntes es, wen es 
wollte.

[Alex (Gast)]

Kaffee könnte man auch als Psychotrope Substanz oder Pflanzliche Droge 
einordnen.

[Daniel A. (daniel-a)]

I love code!

Die Mathematische beschreibung des Algorüthmus must du noch selber 
finden, wenn du diese willst. Dieser Algorüthmus ist meine eigene 
Erfindung, und sollte zum gewünschten ergebniss führen. Getestet unter 
Google Chrome:

<pre>
<script>

var db = {};

function getSet(x){
  var x = x.toLowerCase();
  if(!db[x])
    db[x]={};
  return db[x];
}

function L(begriff,ueberbegriffe){
  var b = getSet(begriff);
  for( var i in ueberbegriffe)
    b[ueberbegriffe[i].toLowerCase()] = getSet(ueberbegriffe[i]);
}

function allDeep(q,d,u,a,md){
  if(!md)md=0;
  if(d<=0) return null;
  if(!u)u={};
  if(!a)a={};
  for(var i in q){
    if(a[i]){
     if(md<a[i])a[i]=md;
     u[i] = db[i];
     continue; // prevent endless recursion
    }
    u[i]={};
    a[i]=md;
  }
  for(var i in q)
    allDeep(q[i],d-1,u[i],a,md+1);
  return {"u":u,"a":a};
}

function search(q,deep){
  if(deep===undefined)
    deep = Infinity;
  var r={};
  for(var i in q){
    var x = allDeep(db[q[i].toLowerCase()],deep);
    if(x) r[q[i]] = x;
  }
  var u = {};
  for(var i in r){
    for(var j in r[i].a){
      var all = true;
      var n=0;
      var p=0;
      for(var k in r){
        n++;
        if(r[k].a[j]===undefined){
          all=false;
          break;
        }
        p += r[k].a[j];
      }
      if(all){
        u[j] = p/n;
      }
    }
  }
  
  var s=[];
  for (var x in u)
    s.push([x, u[x]]);
  s.sort(function(a, b) {return a[1] - b[1]})

  return s;
}


L("Essen",["Nahrungsmittel"]);
L("Getränk",["Nahrungsmittel"]);
L("Milchshake",["Getränk","Essen"]);
L("Tee",["Getränk"]);


var x = search(["Milchshake","Tee"]);
for(var i in x){
  document.writeln(x[i][0]);
}

</script>
</pre>

[Jenö B. (Firma: Angeln, Outdoor und Humor) (selbstdual)]

Daniel A., das Problem ist der Datenbestand(Zu welchen Begriffen gehören 
welche Oberbegriffe).

[Karl H. (kbuchegg)]

Jenö Bender schrieb:
> Daniel A., das Problem ist der Datenbestand(Zu welchen Begriffen gehören
> welche Oberbegriffe).

Genau das ist das Problem.

Denn was für dich recht naheliegend ist

> Also etwa
>
>> cola
>> fanta
>> sprite
>> wasser
> wird zu
>
> Getränke

ist zb. für einen Amerikaner komplett anders. Der würde 'cola', 'fanta' 
und 'sprite' erst mal unter dem Oberbegriff 'sodas' zusammenfassen. Und 
erst der Oberbegriff zu 'sodas' und 'wasser' wäre für ihn 'beverages' 
(also Getränke).

Du wirst also nicht umhin kommen, die Kategorisierung für dich selbst 
und deinen Einsatzzweck mit den für dich passenden Begriffen, 
Kategorisierungen  und Abstufungen in den Kategorisierungen zu 
erstellen. Denn warum fasst du 'cola', 'fante' und 'sprite' nicht zuerst 
in 'Limonaden' zusammen oder in 'kohlensäurehaltige Limonaden' um sie zb 
von 'Fruchtsäfte' zu unterscheiden?

[Bitflüsterer (Gast)]

Unter dem Suchbegriff "Ontologie" kannst Du einige Datenbanken finden, 
die (unter anderem) solche Kategorisierungen enthalten. Ob allerdings 
genau Dein Beispiel damit abgedeckt ist, kann ich im Moment nicht sagen. 
Ich bezweifle es eher. Die entsprechenden Arbeitsgruppen werden jedoch 
nicht unfroh sein, wenn Du dazu beiträgst.

Da die Verwendungszwecke meist wesentlich weiter gefasst sind, als für 
Deinen Zweck nötig - sie z.B. auch Definitionen der Zusammensetzung, 
Verwendung etc. enhalten - wirst Du Deine Teilkategorien extrahieren 
müssen.

Eine andere dumme Idee wäre auch, die Listen von 
Online-Lebensmittellieferanten durchzuforsten.

[Εrnst B. (ernst)]

Eine möglichkeit das in Programmcode zu giessen: Eine SOM
(Self organizing Map) o.Ä. Neuronales Netz.

Je nach Eingabedaten kann das dann feststellen:

cola
fanta
sprite
wasser

gehören zu einer Kategorie, wobei das Wasser etwas "weiter davon weg 
ist".

Dass diese Kategorie dann "Getränke" heißt, kann das NN natürlich nicht 
rausfinden.

[Lukas K. (carrotindustries)]

Die Wikipedia-Kategorien sollten hier helfen. Wikipedia-Dumps sind 
erhältlich.

Dann versuchen mit möglichst wenig Schritten durch Kategorien zu einer 
gemeinsamen Kategorie zu kommen.

Soweit die Theorie...

Mal ausprobiert:
Wasser (Artikel) → Wasser (Kategorie) → Mineralwasser (Unterkategorie) → 
Alkoholfreies Getränk (K)
Cola (Artikel) → Erfrischungsgetränk (K) → Alkoholfreies Getränk (K)

Scheint machbar.

[Jenö Bender (Gast)]

Lukas K. schrieb:
> Die Wikipedia-Kategorien sollten hier helfen. Wikipedia-Dumps sind
> erhältlich.
Das ist etwas unübersichtlich. Welche Dateien sollte ich mir genauer 
ansehen?

[Jenö B. (Firma: Angeln, Outdoor und Humor) (selbstdual)]

Lukas K. schrieb:
> Die Wikipedia-Kategorien sollten hier helfen. Wikipedia-Dumps sind
> erhältlich.
Das ist etwas unübersichtlich. Welche Dateien sollte ich mir genauer
ansehen?