Mida teeb skript tcopyremover.pl?

[paultammo]

Kas mõistan õigesti, et kõik analüüsiread kujul /_K_ pre \/\// eemaldatakse ja read /_K_ post \/\// eemaldatakse, kui enne seda pole /_K_ pre \/\// juba eemaldatud? Muuhulgas, kui seda skripti kaks korda järjest rakendada, siis eemaldatakse kõik /_K_ pre \/\// ja /_K_ post \/\// read.

@d009 tahab teada, mis on selle keeleteaduslik põhjendus.

[d009]

Siimu (@soras) koodi kommentaar ütleb tcopyremoveri kohta

4. Remove duplicate analysis lines;
   Remove adpositions (K) that do not have subcategorization information;
   (former 'tcopyremover.pl')

ehk ma oletaks, et selle eesmärk on siiski eemaldada ainult need read, millele abileksikonist hashtag'idega lisainfot pole lisatud?

[kailimp]

See ei ole minu kirjutatud programm. Idee on selles, et vahel morfanalüsaator annab välja ühele sõnavormile mitu identset morfoloogilist kirjeldust või tekivad need teisenduste käigus. Näiteks tmorftabel.txt on mitu rida P sg n jaoks. Tabelit kasutati/kasutatakse erinevate teiste formaatide vahel tõlkimiseks ja näiteks eelviimases veerus on neile kõigile erinevad vasted. See skript siin kustutab korduvad. Variant oleks ka teha uus tabel, kus 1-mitmele vastavusi sees ei olegi.

Miks eessõnadega sedasi käitutakse, vastan hiljem. Minu meelest on siin bugi.

[paultammo]

@d009 on õigus. Read, mille analüüsis on midagi enamat, kui 'K' ja 'pre' või 'K' ja 'post', jätab kõnealune eriline loogika puutumata ja rakendub vaid tavaline korduste eemaldamine.

Arvan, et tmorftrtabel.txt formaat on ok. Reeglikordusi on kerge ignoreerida ja küllap on reegleid ka kergem hallata, kui nad on ühes kohas koos.

[kailimp]

Jah, aga sel juhu ei tohiks teda kasutada enne abileksikoni rakendamist. Tuleb kohe uus lühem skriptinduseversioon välja, kus abileksikon on pandud reeglitesse ja awk on perli skripti itegreeritud. Natuke testin veel.

[paultammo]

Kas nüüd jäi järele identsete morfoloogiliste tõlgenduste eemaldamine ja mingit erilist kaassõnade tõlgenduste eemaldamist enam ei ole?

[kailimp]

Nüüd eemaldatakse kaassõnadel kohe liigsed tõlgendused, jääb ainult sõnaliik ja sellele rakendatakse leks.rules reegleid, mis ühestele kaassõnadele lisab vajalikud reeglid ja tegelikult ka mitmestele lisab täpselt nii palju tõlgendusi kui vaja. leks.rules oli varem tagger09 + abileksikon