pyprocessors-coreference 1.6.32__tar.gz → 1.6.34__tar.gz

{pyprocessors_coreference-1.6.32 → pyprocessors_coreference-1.6.34}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.5
 Name: pyprocessors-coreference
-Version: 1.6.32
+Version: 1.6.34
 Summary: Processor grouping the mentions of the same entity
 Project-URL: Homepage, https://bitbucket.org/kairntech/pyprocessors_coreference
 Author-email: Olivier Terrier <olivier.terrier@kairntech.com>
@@ -63,7 +63,9 @@ Pour chaque document, entre mentions de même famille de labels :
 - **un nom partiel de personne rejoint le nom complet dont il est la fin**, que le
   nom complet soit avant ou après lui dans le document : « Macron » et « M. Macron »
   rejoignent « Emmanuel Macron » ;
-- **un prénom seul ne rejoint jamais un nom complet** : « Emmanuel » reste à part ;
+- **un prénom seul rejoint le seul nom complet qu'il commence** : « Emmanuel » rejoint
+  « Emmanuel Macron », sauf si une de ses mentions est incluse dans une mention plus longue
+  (un lexique qui reconnaît « Charles » dans « Charles White ») ;
 - **un nom partiel ambigu n'est pas fusionné** : avec « Emmanuel Macron » et
   « Brigitte Macron » dans le texte, « Macron » garde son propre groupe, et liste les
   groupes possibles pour que l'étape de linking tranche ;

{pyprocessors_coreference-1.6.32 → pyprocessors_coreference-1.6.34}/README.md

@@ -33,7 +33,9 @@ Pour chaque document, entre mentions de même famille de labels :
 - **un nom partiel de personne rejoint le nom complet dont il est la fin**, que le
   nom complet soit avant ou après lui dans le document : « Macron » et « M. Macron »
   rejoignent « Emmanuel Macron » ;
-- **un prénom seul ne rejoint jamais un nom complet** : « Emmanuel » reste à part ;
+- **un prénom seul rejoint le seul nom complet qu'il commence** : « Emmanuel » rejoint
+  « Emmanuel Macron », sauf si une de ses mentions est incluse dans une mention plus longue
+  (un lexique qui reconnaît « Charles » dans « Charles White ») ;
 - **un nom partiel ambigu n'est pas fusionné** : avec « Emmanuel Macron » et
   « Brigitte Macron » dans le texte, « Macron » garde son propre groupe, et liste les
   groupes possibles pour que l'étape de linking tranche ;

{pyprocessors_coreference-1.6.32 → pyprocessors_coreference-1.6.34}/docs/sherpa/coreference.en.md

@@ -61,7 +61,7 @@ Two mentions go in the same group in the following cases:
 
 1. **Same form and same label family.** The comparison ignores case and apostrophe variants: "Airbus" and "AIRBUS" are grouped. A label whose name ends with another grouped label is of its family: a "Washington" annotated `location` by a model and `afplocation` by a lexicon forms a single group, as do `organization` and `afporganization`.
 2. **Same family of persons.** All person labels count as one, whatever their name: a "George Lucas" annotated `person` by a model and `afpperson` by a lexicon forms a single group.
-3. **Partial name, for persons only.** A name that ends a longer name joins this name, whether it appears before or after it in the document: "Macron" and "M. Macron" join "Emmanuel Macron". The **Honorifics** titles are ignored for the comparison.
+3. **Partial name, for persons only.** A name that ends a longer name joins this name, whether it appears before or after it in the document: "Macron" and "M. Macron" join "Emmanuel Macron". The **Honorifics** titles are ignored for the comparison. A first name alone likewise joins the only full name it starts: "Emmanuel" joins "Emmanuel Macron".
 4. **Forms of one acronym.** When the Acronyms annotator ran before, the short form ("SEP") and the expanded form ("sclérose en plaques") of an acronym join the entity found exactly on one of them, everywhere in the document:
    - they take its label, the most frequent one if the entities of their forms have several;
    - a form already annotated by an entity is not duplicated: the acronym annotation is removed;
@@ -69,8 +69,8 @@ Two mentions go in the same group in the following cases:
 
 Are **never** grouped:
 
-- **a first name alone**: "Emmanuel" does not join "Emmanuel Macron", as it does not end the name;
-- **an ambiguous partial name**: with "Emmanuel Macron" and "Brigitte Macron" in the same document, "Macron" forms its own group. Its `entity_group_candidates` property lists the two possible groups, and the linking step decides;
+- **a first name inside a longer mention**: a lexicon matching "Charles" within "Charles White" leaves "Charles" apart;
+- **an ambiguous partial name**: with "Emmanuel Macron" and "Brigitte Macron" in the same document, "Macron" forms its own group, as does "Pierre" with "Pierre Curie" and "Pierre Dupont". Its `entity_group_candidates` property lists the two possible groups, and the linking step decides;
 - **different label families**, persons aside: the person "George Washington" and the place "Washington" stay separate;
 - **a partial name of an organization or a place**: "Airbus" does not join "Airbus Defence and Space".
 
@@ -80,7 +80,7 @@ In each example, the output table shows the properties added to each annotation.
 
 ### 1. A partial name joins the full name
 
-"M. Macron" joins "Emmanuel Macron": same group `g1`, same canonical form. The first name alone, "Emmanuel", forms its own group:
+"M. Macron" and the first name alone, "Emmanuel", join "Emmanuel Macron": same group `g1`, same canonical form:
 
 <!-- generated:example:partial-name -->
 
@@ -104,7 +104,7 @@ Output annotations:
 |---|---|---|---|
 | Emmanuel Macron | `person` | 1.00 | `canonical_form`: Emmanuel Macron<br>`entity_group`: g1<br>`family`: person<br>`mention_type`: name |
 | M. Macron | `person` | 1.00 | `canonical_form`: Emmanuel Macron<br>`entity_group`: g1<br>`family`: person<br>`mention_type`: name |
-| Emmanuel | `person` | 1.00 | `canonical_form`: Emmanuel<br>`entity_group`: g2<br>`family`: person<br>`mention_type`: name |
+| Emmanuel | `person` | 1.00 | `canonical_form`: Emmanuel Macron<br>`entity_group`: g1<br>`family`: person<br>`mention_type`: name |
 
 <!-- /generated:example:partial-name -->
 

{pyprocessors_coreference-1.6.32 → pyprocessors_coreference-1.6.34}/docs/sherpa/coreference.fr.md

@@ -61,7 +61,7 @@ Deux mentions vont dans le même groupe dans les cas suivants :
 
 1. **Même forme et même famille de labels.** La comparaison ignore les majuscules et les variantes d'apostrophe : « Airbus » et « AIRBUS » sont regroupés. Un label dont le nom finit par un autre label regroupé est de sa famille : un « Washington » annoté `location` par un modèle et `afplocation` par un lexique forme un seul groupe, comme `organization` et `afporganization`.
 2. **Même famille de personnes.** Tous les labels de personnes comptent comme un seul, quel que soit leur nom : un « George Lucas » annoté `person` par un modèle et `afpperson` par un lexique forme un seul groupe.
-3. **Nom partiel, pour les personnes seulement.** Un nom qui termine un nom plus long rejoint ce nom, qu'il apparaisse avant ou après lui dans le document : « Macron » et « M. Macron » rejoignent « Emmanuel Macron ». Les civilités de **Honorifics** sont ignorées pour comparer.
+3. **Nom partiel, pour les personnes seulement.** Un nom qui termine un nom plus long rejoint ce nom, qu'il apparaisse avant ou après lui dans le document : « Macron » et « M. Macron » rejoignent « Emmanuel Macron ». Les civilités de **Honorifics** sont ignorées pour comparer. Un prénom seul rejoint de même le seul nom complet qu'il commence : « Emmanuel » rejoint « Emmanuel Macron ».
 4. **Formes d'un même acronyme.** Quand l'annotateur Acronymes est passé avant, la forme courte (« SEP ») et la forme développée (« sclérose en plaques ») d'un acronyme rejoignent l'entité trouvée exactement sur l'une d'elles, partout dans le document :
    - elles prennent son label, le plus fréquent si les entités de leurs formes en ont plusieurs ;
    - une forme déjà annotée par une entité n'est pas dupliquée : l'annotation de l'acronyme est retirée ;
@@ -69,8 +69,8 @@ Deux mentions vont dans le même groupe dans les cas suivants :
 
 Ne sont **jamais** regroupés :
 
-- **un prénom seul** : « Emmanuel » ne rejoint pas « Emmanuel Macron », car il ne termine pas le nom ;
-- **un nom partiel ambigu** : avec « Emmanuel Macron » et « Brigitte Macron » dans le même document, « Macron » forme son propre groupe. Sa propriété `entity_group_candidates` liste les deux groupes possibles, et c'est l'étape de liaison qui tranche ;
+- **un prénom inclus dans une mention plus longue** : un lexique qui reconnaît « Charles » dans « Charles White » laisse « Charles » à part ;
+- **un nom partiel ambigu** : avec « Emmanuel Macron » et « Brigitte Macron » dans le même document, « Macron » forme son propre groupe, comme « Pierre » avec « Pierre Curie » et « Pierre Dupont ». Sa propriété `entity_group_candidates` liste les deux groupes possibles, et c'est l'étape de liaison qui tranche ;
 - **des familles de labels différentes**, hors personnes : la personne « George Washington » et le lieu « Washington » restent séparés ;
 - **un nom partiel d'organisation ou de lieu** : « Airbus » ne rejoint pas « Airbus Defence and Space ».
 
@@ -80,7 +80,7 @@ Dans chaque exemple, le tableau de sortie montre les propriétés ajoutées à c
 
 ### 1. Un nom partiel rejoint le nom complet
 
-« M. Macron » rejoint « Emmanuel Macron » : même groupe `g1`, même forme canonique. Le prénom seul, « Emmanuel », forme son propre groupe :
+« M. Macron » et le prénom seul « Emmanuel » rejoignent « Emmanuel Macron » : même groupe `g1`, même forme canonique :
 
 <!-- generated:example:partial-name -->
 
@@ -104,7 +104,7 @@ Annotations en sortie :
 |---|---|---|---|
 | Emmanuel Macron | `person` | 1,00 | `canonical_form` : Emmanuel Macron<br>`entity_group` : g1<br>`family` : person<br>`mention_type` : name |
 | M. Macron | `person` | 1,00 | `canonical_form` : Emmanuel Macron<br>`entity_group` : g1<br>`family` : person<br>`mention_type` : name |
-| Emmanuel | `person` | 1,00 | `canonical_form` : Emmanuel<br>`entity_group` : g2<br>`family` : person<br>`mention_type` : name |
+| Emmanuel | `person` | 1,00 | `canonical_form` : Emmanuel Macron<br>`entity_group` : g1<br>`family` : person<br>`mention_type` : name |
 
 <!-- /generated:example:partial-name -->
 

{pyprocessors_coreference-1.6.32 → pyprocessors_coreference-1.6.34}/src/pyprocessors_coreference/__init__.py

@@ -1,3 +1,3 @@
 """Processor grouping the mentions of the same entity"""
 
-__version__ = "1.6.32"
+__version__ = "1.6.34"

{pyprocessors_coreference-1.6.32 → pyprocessors_coreference-1.6.34}/src/pyprocessors_coreference/coreference.py

@@ -78,7 +78,8 @@ class CoreferenceProcessor(ProcessorBase):
       as one;
     - person labels only: a partial name joins the full name it ends, wherever the
       full name is in the document ("Macron" joins "Emmanuel Macron");
-    - a first name alone never joins ("Emmanuel" stays on its own);
+    - a first name alone joins the only full name it starts ("Emmanuel" joins
+      "Emmanuel Macron"), unless one of its mentions lies inside a longer one;
     - an ambiguous partial name ("Macron" with both Emmanuel and Brigitte Macron)
       keeps a group of its own, and lists the possible groups in
       `entity_group_candidates` for the linking step to decide;
@@ -146,6 +147,23 @@ def group_document(document: Document, params: CoreferenceParameters, honorifics
         elif longer:
             ambiguous[key] = longer
 
+    # A first name alone, left by the suffix rule, joins the only full name it starts
+    # ("Cristiano" joins "Cristiano Ronaldo"), unless one of its mentions lies inside a
+    # longer one: a lexicon matching "Charles" within "Charles White".
+    persons = [a for key, annotations in surfaces.items() if key[0] == PERSON_FAMILY for a in annotations]
+    for key in surfaces:
+        family, tokens = key
+        if family != PERSON_FAMILY or len(tokens) != 1 or root(key) != key or key in ambiguous:
+            continue
+        if any(b.start <= a.start and a.end <= b.end and b.end - b.start > a.end - a.start for a in surfaces[key] for b in persons):
+            continue
+        longer = {root(other) for other in surfaces if other[0] == PERSON_FAMILY and len(other[1]) > 1 and other[1][0] == tokens[0]}
+        longer.discard(key)
+        if len(longer) == 1:
+            parent[key] = longer.pop()
+        elif longer:
+            ambiguous[key] = longer
+
     # 3. Ids in order of first appearance, canonical form = longest mention of the group.
     members: dict[tuple, list[Annotation]] = defaultdict(list)
     for key, annotations in surfaces.items():