Výpočetní lingvistika

Ve výpočetní lingvistice ( CL ) nebo zpracování lingvistických dat ( LDV ) se zkoumá, jak lze přirozený jazyk ve formě textových nebo jazykových dat algoritmicky zpracovat pomocí počítače . Je to rozhraní mezi lingvistikou a počítačovou vědou . V anglické literatuře a počítačové vědy, termín zpracování přirozeného jazyka (NLP), v provozu .

příběh

Výpočetní lingvistiku jako termín (nebo její parafrázi) lze vysledovat až do 60. let minulého století. S počátky umělé inteligence byl úkol již zřejmý. Syntaktické struktury Noama Chomského z roku 1957 představily jazyk ve vhodně novém formálním rámci. K tomu se přidala jazyková logika Saula Kripkeho a Richarda Montague . Výzkum, z nichž některé byly velmi silně financovány z rozpočtu USA na obranu, nepřinesl průlomy, ve které se doufalo. Zejména Chomsky a Joseph Weizenbaum tlumili očekávání automatizace jazykového překladu. Po přechodu z behavioristického na mentalistický (Chomsky) koncept vědy následovaly rozsáhlé koncepty v kognitivních vědách .

V sedmdesátých letech se stále častěji objevovaly publikace s pojmem výpočetní lingvistika v názvu. Již došlo k finančně nákladným pokusům o exegetické aplikace (shody, statistiky slov a tvarů), ale také o rozsáhlejší projekty o analýze strojového jazyka a překladech. První kurzy počítačové lingvistiky v Německu byly zřízeny na Sárské univerzitě a ve Stuttgartu. Výpočetní lingvistika získala nové oblasti aplikace rozšířením osobních počítačů a příchodem internetu. Na rozdíl od internetové lingvistiky, která zkoumá zejména chování lidského jazyka a jím formované jazykové formace na internetu a prostřednictvím internetu, má výpočetní lingvistika spíše informativní a praktickou orientaci. Předmět se však zcela nevzdal klasických filozoficko-lingvistických otázek a dnes se rozlišuje teoretická a praktická výpočetní lingvistika.

Úloha výpočetní lingvistiky

"Výpočetní lingvistika zkoumá strojové zpracování přirozených jazyků." Rozvíjí teoretické základy reprezentace, rozpoznávání a generování mluveného a psaného jazyka stroji. “

- Univerzita Ludwiga Maximiliana v Mnichově

Model potrubí Saarbrücken

Počítače vidí jazyk buď ve formě zvukové informace (pokud je jazyk akustický), nebo ve formě řetězců písmen (pokud je jazyk v písemné formě). Aby bylo možné analyzovat jazyk, člověk pracuje krok za krokem od této počáteční reprezentace směrem k významu a prochází různými úrovněmi jazykové reprezentace. V praktických systémech se tyto kroky obvykle provádějí postupně, a proto se hovoří o modelu potrubí s následujícími kroky:

hlasové rozpoznávání
Pokud je text k dispozici jako zvuková informace, musí být nejprve převeden do textové podoby.
Tokenizace
Řetězec písmen je rozdělen na slova, věty atd.
Morfologická analýza
Personální formuláře nebo značky případů se analyzují, aby se extrahovaly gramatické informace a vystopovaly slova v textu zpět do základních tvarů, jako je např. B. v lexikonu.
Syntaktická analýza
U slov každé věty se analyzuje strukturální funkce ve větě (např. Předmět, předmět, modifikátor, článek atd.).
Sémantická analýza
Věty nebo jejich části mají přiřazený význam. Tento krok potenciálně zahrnuje velké množství různých jednotlivých kroků, protože význam je obtížné pochopit.
Analýza dialogu a diskurzu
Uznávají se vztahy mezi po sobě následujícími větami. V dialogu by to mohlo např. B. být otázkou a odpovědí, vyjádřením v diskurzu a jeho zdůvodněním nebo omezením.

Není to však tak, že by všechny procesy výpočetní lingvistiky probíhaly celým tímto řetězcem. Rostoucí využívání procesů strojového učení vedlo k poznání, že na každé úrovni analýzy existují statistické zákonitosti, které lze použít k modelování jazykových jevů. Například mnoho současných modelů strojového překladu používá syntaxi pouze v omezené míře a sémantiku téměř vůbec; místo toho se omezují na využívání vzorů korespondence na úrovni slov.

Na druhém konci škály jsou procesy, které fungují na principu sémantiky první, syntaxe druhé . Kognitivně orientované jazykové zpracování založené na paradigmatu MultiNet je založeno na počítačovém lexikonu založeném na sémantice, který je založen na sémantickém jádru v podstatě nezávislém na jazyce s jazykově specifickými morfosyntaktickými doplňky. Tento lexikon se používá při analýze analýzou řízenou třídou slov pro přímé generování sémantických struktur.

Příklady problémů se zpracováním jazyka

  • Řešení syntaktických nejasností . V některých případech lze větu analyzovat a interpretovat několika způsoby. Výběr toho správného někdy vyžaduje sémantické informace o řečovém aktu a záměru mluvčího, ale alespoň statistické předchozí znalosti o běžném výskytu slov. Příklad: „Peter viděl Marii s dalekohledem“ - zde není nutně jasné, zda Peter viděl Marii, která držela v ruce dalekohled, nebo zda Peter viděl Marii pomocí dalekohledu.
  • Určete sémantiku . Stejná slovní forma může mít různý význam v závislosti na kontextu (srovnej homonymum , polyseme ). Člověk si musí vybrat význam, který platí pro kontext. Na druhou stranu jsou formality nutné k vyjádření významů slov.
  • Rozpoznání záměru lingvistické výpovědi (viz pragmatika ). Některé věty nejsou míněny doslova. Například na otázku „Můžete mi říci, kolik je hodin?“ Člověk neočekává odpověď typu „ano“ nebo „ne“, ale spíše požádá o informace o čase.

Aplikace v praxi

Praktická výpočetní lingvistika je termín, který se etabloval v řadě kurzů nabízených některými univerzitami. Taková školení se blíží konkrétním popisům práce pro údržbu IT a vývoj strojů pro zpracování jazyků a jejich programů . Patří mezi ně například:

kurzy

Výpočetní lingvistika je nabízena jako nezávislý kurz na několika univerzitách v německy mluvících zemích. Výpočetní lingvistika je v německé univerzitní politice klasifikována jako vedlejší předmět . Jsou možné bakalářské a magisterské tituly. Mezi nejznámější nabídky patří kurzy na univerzitě Bielefeld, Ruprecht-Karls-University of Heidelberg, Ludwig-Maximilians-University of Munich, University of Potsdam, University of Saarland and the University of Trier.

Setkání

  • Výroční konference „Asociace počítačové lingvistiky (ACL)“
  • „COLING“: mezinárodní konference, která se koná každé dva roky od roku 1965
  • „Nedávné pokroky ve výpočetní lingvistice (RANLP)“ vznikly z letní školy, od roku 2001 každé dva roky
  • „Mezinárodní společná konference o zpracování přirozeného jazyka (IJCLP)“ probíhá v nepravidelných intervalech od roku 2004 v asijském regionu
  • Výroční „ lingvistika studentských konferencí (StuTS)“ - tří až čtyřdenní konference studentů pro studenty;
  • „Konference studentů výpočetní lingvistiky (TaCoS)“ německy mluvících univerzit, která se od roku 1992 koná každoročně na jiné univerzitě;
  • Každé dva roky výroční konference „Společnost pro zpracování jazykových dat (GLDV)“ nebo (od roku 2008) „Společnost pro jazykové technologie a výpočetní lingvistiku (GSCL)“.
  • „KONVENS - Conference on the Processing of Natural Language“: konference, která se koná každé dva roky od roku 1992, střídavě pořádaná společnostmi ÖGAI, DGfS -CL a GSCL

Organizace

Viz také

literatura

  • James Allen: Porozumění přirozenému jazyku . The Benjamin / Cummings Publishing Company, Redwood City, CA 1995, ISBN 0-8053-0334-0 .
  • Kai-Uwe Carstensen, Christian Ebert, Cornelia Ebert, Susanne Jekat, Ralf Klabunde, Hagen Langer (eds.): Výpočetní lingvistika a jazyková technologie. 3. Edice. Spektrum Akademischer Verlag, Heidelberg 2010, ISBN 978-3-8274-2023-7 .
  • Roland Hausser: Základy počítačové lingvistiky: Komunikace člověka s počítačem v přirozeném jazyce. 3. Edice. Springer, 2014, ISBN 978-3-642-41430-5 .
  • Nitin Indurkhya, Fred J. Damerau: Handbook of Natural Language Processing. 2. vydání. Chapman a Hall / CRC, 2010, ISBN 978-1-4200-8592-1 .
  • Daniel Jurafsky, James H. Martin: Zpracování řeči a jazyka - úvod do zpracování přirozeného jazyka, výpočetní lingvistiky a rozpoznávání řeči. 2. vydání. Prentice Hall, Upper Saddle River, New Jersey 2008, ISBN 978-0-13-187321-6 .
  • Henning Lobin: Výpočetní lingvistika a textová technologie. Fink, Paderborn / Mnichov 2010, ISBN 978-3-8252-3282-5 .
  • Christopher D. Manning, Hinrich Schütze: Základy statistického zpracování přirozeného jazyka. MIT Press, Cambridge / MA 1999, ISBN 0-262-13360-1 .
  • Ruslan Mitkov (Ed.): Oxfordská příručka počítačové lingvistiky. Oxford University Press, 2003, ISBN 0-19-823882-7 .

webové odkazy

Wikislovník: Výpočetní lingvistika  - vysvětlení významů, původ slov, synonyma, překlady

Individuální důkazy

  1. ^ I. Bátori, J. Krause, HD Lutz (Ed.): Zpracování jazykových dat. Pokuste se určit své postavení v oblasti informační lingvistiky a umělé inteligence. Niemeyer Verlag, Tübingen 1982.
  2. ↑ David Crystal se k tomu několikrát vyjádřil v médiích a v esejích v polovině 60. let. Tradice Alana Turinga byla v Anglii od 30. let také virulentní.
  3. ↑ CIS POČÍTAČOVÁ LINGUISTIKA. (PDF) Centrum informací a jazykové mediace, Univerzita Ludwiga Maximiliana v Mnichově, přístup 10. listopadu 2015 .
  4. ↑ Hans Uszkoreit: VL Úvod do počítačové lingvistiky, reprezentace a procesy v jazykovém zpracování.
  5. ↑ Peter Kolb: Co je statistický strojový překlad? ( Memento ze 4. března 2011 v internetovém archivu )
  6. ^ Hermann Helbig : Reprezentace znalostí a sémantika přirozeného jazyka . Springer, Berlín 2006, ISBN 978-3-540-24461-5 .
  7. ↑ Thiemo Wambsganss, Christina Niklaus, Matthias Cetto, Matthias Söllner, Siegfried Handschuh: AL: Adaptive Learning Support System for Argumentation Skills . In: Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems . ACM, Honolulu HI USA 2020, ISBN 978-1-4503-6708-0 , s. 1-14 , doi : 10.1145 / 3313831.3376732 ( acm.org [přístup 11. března 2021]).
  8. ↑ Malé předměty: Výpočetní lingvistika na portálu Kleine Fächer. Citováno 23. dubna 2019 .
  9. ↑ StudiScan: Magisterský titul z počítačové lingvistiky - 17 magisterských studijních programů. Přístup 31. ledna 2019 .
  10. ^ ACL 2018: 56. výroční setkání Asociace pro výpočetní lingvistiku. Přístup k 30. lednu 2019 .
  11. ↑ 27. mezinárodní konference o počítačové lingvistice (COLING 2018). Citováno 30. ledna 2019 (americká angličtina).
  12. ^ Oddělení lingvistického modelování a zpracování znalostí: Události. Citováno 30. ledna 2019 .
  13. ↑ IJCNLP: Úvod ( Memento z 15. července 2013 v internetovém archivu )
  14. ^ Konference o empirických metodách ve zpracování přirozeného jazyka a mezinárodní společná konference o zpracování přirozeného jazyka 2019. In: emnlp-ijcnlp2019.org. Citováno 19. února 2019 .
  15. ^ Rakouská společnost pro umělou inteligenci (ÖGAI). Citováno 30. ledna 2019 .
  16. ^ Rakouská společnost pro umělou inteligenci (ÖGAI). Citováno 30. ledna 2019 .