Fix constructions that never won a parse

A usage census over 10,000 parsed news sentences found nonterminals
that never appeared in a winning tree. Four of them were meant to fire
on ordinary prose and lost to a wrong analysis or could not match:

- "sem:ao" does not exist in BÍN ('sem' is st or fs), so SemStendur
  ("sem stendur"), LoSem ("sem jöfnustu"), "svo sem" and one "sem
  sagt" could never match. Use "sem:st".
- HjSögnLhNtFrumlag's first alternative ("Nú fer hælisleitendum
  fækkandi") lacked the dative subject, so the sentence was parsed
  with an impersonal verb instead.
- HjSögnVantaSkorta ("Okkur þótti vanta mýkt") lost on score to a
  reading of 'vanta' as a noun; give it a bonus.
- "undir eins" was read as 'undir' + the comparison "eins og". Make
  it a fixed phrase in Phrases.conf.

On the 1000-sentence baseline 5 trees change: 3 score ties and 2
improvements (e.g. "vel viðráðanleg sem stendur" no longer becomes a
relative clause), none lost.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

Author: vthorsteinsson

src/reynir/Greynir.grammar

@@ -3375,7 +3375,7 @@ HjSögnLhNt →
 # [Nú] fer hælisleitendum fækkandi
 # [Nú] hefur hælisleitendum farið fækkandi
 HjSögnLhNtFrumlag → 
-    'fara:so'_gm_p3_et
+    'fara:so'_gm_p3_et NlFrumlag_þgf_ft FsAtv?                                        # fer/fór/færi þeim [ekki] (fækkandi)
     | 'hafa:so'_gm_p3_et NlFrumlag_þgf_ft FsAtv? 'geta:so'_sagnb? 'fara:so'_sagnb    # hefur/hafði/hefði þeim [ekki] [getað] farið (fækkandi)
     | 'geta:so'_gm_p3_et NlFrumlag_þgf_ft FsAtv? 'hafa:so'_nh? 'fara:so'_sagnb       # getur/gat/gæti þeim [hafa] farið (fækkandi)
     | 'munu:so'_gm_p3_et NlFrumlag_þgf_ft FsAtv? 'fara:so'_nh                        # mun/myndi þeim [ekki] fara (fækkandi)
@@ -3426,6 +3426,9 @@ HjSögnVantaSkorta →
     'vanta:so'_nh           # Okkur þykir/þótti vanta mýkt í rödd Pálínu
     | 'skorta:so'_nh        # Páli þykir/þótti skorta samkvæmni í málflutningi Jóns
 
+# Kjósum þessa greiningu fremur en að lesa 'vanta' sem nafnorð
+$score(+8) HjSögnVantaSkorta
+
 HjSögnFá/tala/pers →
     'fá:so'_1_þf_gm/tala/pers                   # Páll fékk bílinn endurgreiddan
     | 'hafa:so'_gm/tala/pers 'fá:so'_gm_sagnb   # Páll hefur fengið bílinn endurgreiddan
@@ -5750,7 +5753,7 @@ LoMun/fall/tala/kyn →
 $score(+10) LoMun/fall/tala/kyn
 
 LoSem/fall/tala/kyn →
-    "sem:ao" lo_esb/fall/tala/kyn # (hvernig skuli stuðla að) sem jöfnustu hlutfalli
+    "sem:st" lo_esb/fall/tala/kyn # (hvernig skuli stuðla að) sem jöfnustu hlutfalli
 
 $score(+4) LoSem/fall/tala/kyn
 
@@ -6491,9 +6494,9 @@ EinnAl →
     | 'einn:fn'_kvk_et_þf 'ferð:kvk'_þf_et_gr "enn:ao"  # eina ferðina enn
     | "heima:ao" "fyrir:ao"
     | "hingað:ao" "til:ao"
-    | "sem:ao" 'segja:so'_lhþt_sb_hk_nf_et  # sem sagt
-    | "svo:ao" "sem:ao"
-    | "sem:ao" "fyrst:ao"
+    | "sem:st" 'segja:so'_lhþt_sb_hk_nf_et  # sem sagt
+    | "svo:ao" "sem:st"
+    | "sem:st" "fyrst:ao"
     | 'vinsamlegur:lo'_esb_nf_et_hk     # (Þátttakendur eru) vinsamlegast (beðnir að fylla út eyðublað)
     | 'náðarsamlegur:lo'_esb_nf_et_hk   # (Þátttakendur eru) náðarsamlegast (beðnir að fylla út eyðublað)
     | "mest:ao" Allra     # (Ferðamönnum hefur fjölgað) mest allra
@@ -6545,12 +6548,12 @@ $score(+8) FyrirLöngu
 
 # Sem stendur er hann ekki viðlátinn
 SemStendur →
-    "sem:ao" 'standa:so'_0_gm_fh_et_p3
+    "sem:st" 'standa:so'_0_gm_fh_et_p3
 
 $score(-6) SemStendur
 
 UndirEins →
-    "undir:ao" "eins:ao"    # 'Ég fór undir eins og kannaði málið'
+    'undir_eins:ao'         # 'Ég fór undir eins og kannaði málið' (fasti frasinn 'undir eins' í Phrases.conf)
 
 $score(+4) UndirEins
 
@@ -6626,7 +6629,7 @@ AtviksliðurEinkunn →
     eo                              # Einkunnarorð = atviksorð sem geta ekki jafnframt verið forsetningar
     | Aldur                         # Hin 29 ára gamla fyrirsæta
     | Allt "að:ao"                  # 'fjárfesta fyrir allt að 100 milljónir króna'
-    | "svo:ao" "sem:ao"             # 'enda kemur kynlíf þeirra svo sem engum við'
+    | "svo:ao" "sem:st"             # 'enda kemur kynlíf þeirra svo sem engum við'
     | "innan_við:fs"
     | "líkast:ao" "til:ao"
     | UmEðaYfir

src/reynir/config/Phrases.conf

@@ -1382,6 +1382,7 @@ meaning = ao frasi -
 
 "á stangli", "aþ nheþ", "á stangl"
 "á ný", "aa aa", "á ný"
+"undir eins", "aa aa", "undir eins"
 "hvað mest", "aa aae", "hvað mjög"
 "út og suður", "aa c aa", "út og suður"
 "heils hugar", "lkeesf nkee", "heill hugur"

test/test_parse.py

@@ -2780,6 +2780,34 @@ def test_sagdur_hafa(r) -> None:
         assert "lhþt" in s.tree.flat, sentence
 
 
+def test_never_winning_constructions(r) -> None:
+    """Constructions that a grammar usage census showed never won a parse,
+    because of a dead terminal ('sem:ao' does not exist in BÍN), a missing
+    subject in a production, or losing on score"""
+    # sem stendur / sem jöfnustu: 'sem' is a conjunction in BÍN, not an adverb
+    s = r.parse_single("Sem stendur er hann ekki viðlátinn.")
+    assert s and s.tree and "ADVP st VP so_0" in s.tree.flat, s.tree.flat if s.tree else None
+    s = r.parse_single("Stuðla skal að sem jöfnustu hlutfalli.")
+    assert s and s.tree and "st lo_" in s.tree.flat, s.tree.flat if s.tree else None
+    # undir eins: a fixed phrase, not 'undir' + a comparison
+    s = r.parse_single("Ég fór undir eins og kannaði málið.")
+    assert s and s.tree and "CP-ADV-CMP" not in s.tree.flat, s.tree.flat if s.tree else None
+    assert any(t.text.lower() == "undir eins" for t in s.tree.leaves)
+    # Nú fer hælisleitendum fækkandi: dative subject after the auxiliary
+    s = r.parse_single("Nú fer hælisleitendum fækkandi.")
+    assert s and s.tree and "NP-SUBJ no_ft_þgf_kk /NP-SUBJ" in s.tree.flat, (
+        s.tree.flat if s.tree else None
+    )
+    assert "subj_op" not in s.tree.flat
+    # Okkur þótti vanta mýkt: 'vanta' is the infinitive, 'mýkt' its object
+    s = r.parse_single("Okkur þótti vanta mýkt í rödd hennar.")
+    assert s and s.tree and "vanta" in s.tree.verbs, s.tree.flat if s.tree else None
+    assert "NP-OBJ no_et_þf_kvk" in s.tree.flat
+    # Apposition in the wrong case parses via the error fallback
+    s = r.parse_single("Ég ræddi við forsætisráðherra (Sigmundur Davíð) um málið.")
+    assert s and s.tree and "person_nf_kk person_nf_kk" in s.tree.flat
+
+
 if __name__ == "__main__":
     # When invoked as a main module, do a verbose test
     from reynir import Greynir
@@ -2849,4 +2877,5 @@ def test_sagdur_hafa(r) -> None:
     test_quoted_question_attribution(g)
     test_thess_i_stad(g)
     test_sagdur_hafa(g)
+    test_never_winning_constructions(g)
     g.__class__.cleanup()