pelican-nlp 0.3.2__py3-none-any.whl → 0.3.4__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- pelican_nlp/_version.py +1 -1
- pelican_nlp/cli.py +22 -4
- pelican_nlp/config.py +23 -2
- pelican_nlp/extraction/extract_embeddings.py +50 -3
- pelican_nlp/extraction/extract_logits.py +6 -1
- pelican_nlp/extraction/language_model.py +1 -2
- pelican_nlp/main.py +9 -10
- pelican_nlp/preprocessing/text_tokenizer.py +7 -2
- pelican_nlp/project_graph/graph_visualization.py +109 -0
- pelican_nlp/sample_configuration_files/config_discourse.yml +14 -7
- pelican_nlp/sample_configuration_files/config_fluency.yml +2 -3
- pelican_nlp/sample_configuration_files/config_general.yml +30 -14
- pelican_nlp/utils/setup_functions.py +1 -1
- pelican_nlp/utils/unittests/examples/example_discourse/config_discourse.yml +109 -0
- pelican_nlp/utils/unittests/examples/example_discourse/subjects/sub-01/interview/sub-01_task-interview_acq-schizophrenia_run-01_transcript.rtf +40 -0
- pelican_nlp/utils/unittests/examples/example_fluency/config_fluency.yml +106 -0
- pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-01/fluency/sub-01_task-fluency_cat-semantic_acq-animals_text.txt +1 -0
- pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-01/fluency/sub-01_task-fluency_cat-semantic_acq-clothes_text.txt +1 -0
- pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-01/fluency/sub-01_task-fluency_cat-semantic_acq-food_text.txt +1 -0
- pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-02/fluency/sub-02_task-fluency_cat-semantic_acq-animals_text.txt +1 -0
- pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-02/fluency/sub-02_task-fluency_cat-semantic_acq-clothes_text.txt +1 -0
- pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-02/fluency/sub-02_task-fluency_cat-semantic_acq-food_text.txt +1 -0
- pelican_nlp/utils/unittests/examples/example_image-descriptions/config_image-descriptions.yml +135 -0
- pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-01/ses-01/image-description/sub-01_ses-01_task-imgdesc_acq-drug_transcript.docx +0 -0
- pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-01/ses-01/image-description/sub-01_ses-01_task-imgdesc_acq-placebo_transcript.docx +0 -0
- pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-01/ses-02/image-description/sub-01_ses-02_task-imgdesc_acq-drug_transcript.docx +0 -0
- pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-01/ses-02/image-description/sub-01_ses-02_task-imgdesc_acq-placebo_transcript.docx +0 -0
- pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-02/ses-01/image-description/sub-02_ses-01_task-imgdesc_acq-drug_transcript.docx +0 -0
- pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-02/ses-01/image-description/sub-02_ses-01_task-imgdesc_acq-placebo_transcript.docx +0 -0
- pelican_nlp/utils/unittests/test_examples.py +211 -0
- {pelican_nlp-0.3.2.dist-info → pelican_nlp-0.3.4.dist-info}/METADATA +1 -1
- {pelican_nlp-0.3.2.dist-info → pelican_nlp-0.3.4.dist-info}/RECORD +36 -18
- {pelican_nlp-0.3.2.dist-info → pelican_nlp-0.3.4.dist-info}/WHEEL +1 -1
- {pelican_nlp-0.3.2.dist-info → pelican_nlp-0.3.4.dist-info}/entry_points.txt +0 -0
- {pelican_nlp-0.3.2.dist-info → pelican_nlp-0.3.4.dist-info}/licenses/LICENSE +0 -0
- {pelican_nlp-0.3.2.dist-info → pelican_nlp-0.3.4.dist-info}/top_level.txt +0 -0
@@ -0,0 +1,40 @@
|
|
1
|
+
{\rtf1\ansi\deff3\adeflang1025
|
2
|
+
{\fonttbl{\f0\froman\fprq2\fcharset0 Times New Roman;}{\f1\froman\fprq2\fcharset2 Symbol;}{\f2\fswiss\fprq2\fcharset0 Arial;}{\f3\froman\fprq2\fcharset0 Liberation Serif{\*\falt Times New Roman};}{\f4\froman\fprq2\fcharset0 Arial;}{\f5\froman\fprq2\fcharset0 Liberation Sans{\*\falt Arial};}{\f6\fnil\fprq2\fcharset0 0;}{\f7\fnil\fprq2\fcharset0 Noto Sans CJK SC;}{\f8\fnil\fprq2\fcharset0 Noto Sans Devanagari;}}
|
3
|
+
{\colortbl;\red0\green0\blue0;\red0\green0\blue255;\red0\green255\blue255;\red0\green255\blue0;\red255\green0\blue255;\red255\green0\blue0;\red255\green255\blue0;\red255\green255\blue255;\red0\green0\blue128;\red0\green128\blue128;\red0\green128\blue0;\red128\green0\blue128;\red128\green0\blue0;\red128\green128\blue0;\red128\green128\blue128;\red192\green192\blue192;}
|
4
|
+
{\stylesheet{\s0\snext0\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\nowidctlpar\hyphpar1\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052 Normal;}
|
5
|
+
{\*\cs15\snext15 Footnote Characters;}
|
6
|
+
{\*\cs16\snext16\rtlch\ab \ltrch\loch\b Strong;}
|
7
|
+
{\s17\sbasedon0\snext18\rtlch\af8\afs28\alang1081 \ltrch\lang1033\langfe2052\hich\af5\loch\ql\nowidctlpar\hyphpar1\sb240\sa120\keepn\ltrpar\cf0\f5\fs28\lang1033\kerning1\dbch\af7\langfe2052 Heading;}
|
8
|
+
{\s18\sbasedon0\snext18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052 Body Text;}
|
9
|
+
{\s19\sbasedon18\snext19\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052 List;}
|
10
|
+
{\s20\sbasedon0\snext20\rtlch\af8\afs24\alang1081\ai \ltrch\lang1033\langfe2052\hich\af3\loch\ql\nowidctlpar\hyphpar1\sb120\sa120\ltrpar\cf0\f3\fs24\lang1033\i\kerning1\dbch\af6\langfe2052 Caption;}
|
11
|
+
{\s21\sbasedon0\snext21\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\nowidctlpar\hyphpar1\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052 Index;}
|
12
|
+
}{\*\generator LibreOffice/24.2.7.2$Linux_X86_64 LibreOffice_project/420$Build-2}{\info{\title 648866ebdbd870441d179a92}{\author Thomas Luthi-Bhatti}{\creatim\yr2023\mo6\dy14\hr17\min6}{\revtim\yr2025\mo4\dy8\hr13\min51}{\printim\yr0\mo0\dy0\hr0\min0}}{\*\userprops{\propname Operator}\proptype30{\staticval Ulrike Rachner}}\deftab720
|
13
|
+
\hyphauto1\viewscale100\formshade\paperh16838\paperw11906\margl1417\margr1417\margt1417\margb1398\sectd\sbknone\sftnnar\saftnnrlc\sectunlocked1\pgwsxn11906\pghsxn16838\marglsxn1417\margrsxn1417\margtsxn1417\margbsxn1398\ftnbj\ftnstart1\ftnrestart\ftnnar\aenddoc\aftnrstcont\aftnstart1\aftnnrlc
|
14
|
+
{\*\ftnsep\chftnsep}\pgndec\pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl100\slmult0\qc\hyphpar0\fi0\li0\lin0\ri0\rin0\sb238\sa0{\hich\af4\loch\cs16\rtlch\ab \ltrch\loch\b\fs22\lang1031\f4\loch
|
15
|
+
Interview with Interviewee}
|
16
|
+
\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl100\slmult0\qc\hyphpar0\fi0\li0\lin0\ri0\rin0\sb238\sa0\loch
|
17
|
+
|
18
|
+
\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl276\slmult1{\loch
|
19
|
+
I: Das ist f\u252\'fcr mich. Ich m\u246\'f6chte, dass Sie \u252\'fcber ein paar Dinge aus Ihrem t\u228\'e4glichen Leben sprechen. Sie m\u252\'fcssen (keinerlei?) Namen nennen, w\u228\'e4hrend Sie dieses Ereignis beschreiben. K\u246\'f6nnen Sie mir ein wenig \u252\'fcber sich erz\u228\'e4hlen? #00:00:14-00#\line B: (In Schriftsprache.) Ja, nat\u252\'fcrlich. Jeden Morgen beginne ich den Tag mit einer Tasse Tee. Ich bin jemand, der viel Wert auf eine ruhige Morgenroutine legt. Es ist f\u252\'fcr mich sehr wichtig, dass der Start in den Tag entspannt und nicht hektisch ist. Oft lese ich auch ein paar Seiten in einem Buch, das ich gerade lese. Danach gehe ich meistens zur Arbeit, entweder ins B\u252\'fcro oder arbeite von zu Hause aus. Mein Job ist sehr abwechslungsreich, und es gef\u228\'e4llt mir, immer neue Herausforderungen zu haben. Am Nachmittag gehe ich oft spazieren oder treffe mich mit Freunden. Ein gutes Gespr\u228\'e4ch oder eine kleine Wanderung in der Natur tut mir immer sehr gut. Am Abend koche ich gerne etwas Leckeres und entspanne mich beim Fernsehen oder h\u246\'f6re Musik. #00:00:51-00#}
|
20
|
+
\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl276\slmult1{\loch
|
21
|
+
I: Wenn Sie zur\u252\'fcckdenken, k\u246\'f6nnen Sie mir eine Geschichte \u252\'fcber etwas Wichtiges erz\u228\'e4hlen, das in Ihrem Leben passiert ist? Die Geschichte kann aus einer beliebigen Zeit Ihres Lebens stammen, aus Ihrer Kindheit oder auch vor Kurzem. Sie brauchen keine Namen zu nennen, wenn Sie dieses Ereignis beschreiben. #00:04:19-00#\line B: Ich erinnere mich an eine Zeit, als ich mit meiner Familie in einem kleinen Dorf auf einem Berg war. Es war ein Winterwochenende, und wir hatten viel Schnee. An diesem Tag sind wir alle zusammen mit Schlitten den Hang hinuntergefahren. Es war eine sehr lustige Erfahrung, weil wir alle wie Kinder waren, trotz des Alters. Aber was mir wirklich in Erinnerung geblieben ist, war, dass ich mich nach diesem Tag viel n\u228\'e4her mit meiner Familie verbunden f\u252\'fchlte. Es war ein Moment, in dem wir uns alle unterst\u252\'fctzt und gemeinsam gelacht haben, was damals sehr wichtig f\u252\'fcr mich war. Diese Momente mit der Familie sind f\u252\'fcr mich unersetzlich. #00:05:42-00#}
|
22
|
+
\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl276\slmult1{\loch
|
23
|
+
I: Ich m\u246\'f6chte Sie nun bitten, dass Sie ein wenig \u252\'fcber Ihre Gesundheit sprechen. Sie brauchen keine Namen zu nennen. Glauben Sie, dass Sie eine psychische Krankheit haben? Und wenn ja, worum handelt es sich Ihrer Meinung nach? #00:06:03-00#\line B: In letzter Zeit habe ich mich mehr mit meiner mentalen Gesundheit besch\u228\'e4ftigt. Ich w\u252\'fcrde sagen, dass ich in einer stabilen psychischen Verfassung bin, aber es gibt Momente, in denen ich mich \u252\'fcberfordert f\u252\'fchle. Gerade in stressigen Phasen merke ich, dass es schwieriger f\u252\'fcr mich ist, den Kopf klar zu behalten. Aber ich versuche, mir Hilfe zu suchen und achte sehr darauf, auf mich selbst zu h\u246\'f6ren. Es gibt Phasen, in denen ich das Gef\u252\'fchl habe, dass ich eine kurze Auszeit brauche, um mich wieder zu sortieren. Aber insgesamt denke ich, dass ich psychisch gesund bin, solange ich mir genug Zeit f\u252\'fcr mich nehme. #00:06:48-00#}
|
24
|
+
\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl276\slmult1{\loch
|
25
|
+
I: Und wurde Ihnen eine Diagnose gestellt? #00:07:03-00#\line B: Nein, bisher nicht. #00:07:04-00#}
|
26
|
+
\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl276\slmult1{\loch
|
27
|
+
I: Danke. Okay. Ich werde Ihnen jetzt drei Bilder zeigen, und eins nach dem anderen. Jedes Mal, wenn ich das Bild vor Sie lege, m\u246\'f6chte ich Sie bitten, das Bild so vollst\u228\'e4ndig wie m\u246\'f6glich zu beschreiben. Sagen Sie mir, was Sie auf dem Bild sehen und was Ihrer Meinung nach passieren k\u246\'f6nnte. Bitte sprechen Sie, bis ich Stopp sage. (...) Bild Nummer zwei. Bitte sagen Sie, was Sie auf diesem Bild sehen. #00:09:10-00#\line B: (Startet in Schriftsprache.) Auf diesem Bild sieht man eine Gruppe von Personen, die auf einem Markt stehen. Es ist ein lebhafter Ort, mit vielen St\u228\'e4nden und bunten Waren. In der Mitte sieht man eine \u228\'e4ltere Frau, die gerade eine Melone ausw\u228\'e4hlt. Sie tr\u228\'e4gt eine einfache, aber stilvolle Kleidung. Links sieht man einen jungen Mann, der mit einem Verk\u228\'e4ufer spricht, der gerade Tomaten in eine T\u252\'fcte packt. Im Hintergrund sieht man weitere Marktst\u228\'e4nde, die mit Obst und Gem\u252\'fcse voll sind. Der Himmel ist bew\u246\'f6lkt, und es sieht aus, als w\u252\'fcrde es bald regnen. Es scheint ein sch\u246\'f6ner, aber auch sehr besch\u228\'e4ftigter Tag zu sein. #00:10:37-00#}
|
28
|
+
\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl276\slmult1{\loch
|
29
|
+
I: Danke sch\u246\'f6n. Bild Nummer vier. Was passiert auf diesem Bild? Oder was sehen Sie auf diesem Bild? #00:10:46-00#\line B: Auf diesem Bild sieht man einen Mann und eine Frau, die zusammen auf einer Bank sitzen. Der Mann ist in einem Anzug und schaut auf sein Handy. Die Frau tr\u228\'e4gt ein sommerliches Kleid und schaut nachdenklich in die Ferne. Sie scheint in einer anderen Welt zu sein, w\u228\'e4hrend der Mann abgelenkt ist. Im Hintergrund ist ein Park zu sehen, mit B\u228\'e4umen und einem kleinen See. Die Stimmung wirkt ein bisschen melancholisch, als ob beide Menschen in Gedanken versunken sind. Es scheint, als ob sie ein Gespr\u228\'e4ch f\u252\'fchren, aber jeder ist in seiner eigenen Welt. #00:12:00-00#}
|
30
|
+
\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl276\slmult1{\loch
|
31
|
+
I: Danke sch\u246\'f6n. Und Bild Nummer 17GF, was sehen Sie auf diesem Bild? #00:12:09-00#\line B: Auf diesem Bild sieht man einen alten Leuchtturm, der auf einem Felsen \u252\'fcber dem Meer thront. Der Himmel ist dramatisch, mit dunklen Wolken und einer Art Sturmstimmung. Das Meer ist unruhig und st\u252\'fcrmisch, und man sieht die Wellen gegen den Felsen schlagen. In der N\u228\'e4he des Leuchtturms ist ein kleiner, alter Kutter zu sehen, der versucht, gegen die Wellen anzukommen. Es wirkt wie eine dramatische Szene, bei der der Leuchtturm als Rettungsanker in dieser st\u252\'fcrmischen See dient. Der Leuchtturm strahlt ein warmes Licht aus, das den Kutter zu f\u252\'fchren scheint. #00:13:23-00#}
|
32
|
+
\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl276\slmult1{\loch
|
33
|
+
I: Danke. Gut, ich werde Ihnen nun einige Bilder aus einer Geschichte zeigen. Sie k\u246\'f6nnen sich so viel Zeit nehmen, wie Sie brauchen, um die Bilder anzuschauen. Nachdem Sie alle Bilder der Reihe nach angesehen haben, m\u246\'f6chte ich Sie bitten, mir die Geschichten auf den Bildern in Ihren eigenen Worten zu erz\u228\'e4hlen. Das ist die Geschichte. #00:13:47-00#\line B: Ich habe in der Kindheit oft getr\u228\'e4umt, dass ich in einem Wald unterwegs war. #00:15:59-00#}
|
34
|
+
\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl276\slmult1{\loch
|
35
|
+
I: Im Wald? #00:15:56-00#\line B: Ja, genau. Ich war als Kind oft drau\u223\'dfen in den W\u228\'e4ldern, und in meinen Tr\u228\'e4umen bin ich immer tiefer in den Wald gegangen. Eines Tages kam ich an einen kleinen Bach, der durch den Wald floss. Der Bach war klar und das Wasser funkelte im Sonnenlicht. Ich sa\u223\'df dort und beobachtete die Fische, die durch das Wasser schwammen. Es war sehr ruhig, und ich f\u252\'fchlte mich v\u246\'f6llig friedlich. In diesem Moment hatte ich das Gef\u252\'fchl, dass ich ein Teil der Natur war und mit der Welt um mich herum eins. Es war ein sch\u246\'f6ner, friedlicher Traum, der mir auch als Erwachsener oft in den Sinn kommt. #00:16:44-00#}
|
36
|
+
\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\sl276\slmult1\ql\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl276\slmult1{\loch
|
37
|
+
I: Gut. Jetzt haben Sie eine Minute Zeit, um den Text durchzugehen, danach bitte ich Sie, das Blatt wegzulegen und mir die Geschichte in eigenen Worten zu erz\u228\'e4hlen. #00:17:51-00#\line B: Okay. #00:17:52-00#\line (Stille. B liest. #00:17:52-00# - #00:19:13-00#)\line B: (in Schriftsprache.) Die Geschichte handelt von einer kleinen Katze, die an einem sehr hei\u223\'dfen Tag im Schatten eines Baumes schl\u228\'e4ft. Sie tr\u228\'e4umt von einem k\u252\'fchlen Teich, an dem sie trinken kann. Als sie aufwacht, ist der Teich nicht mehr weit, und die Katze folgt einem Schmetterling, der sie zu einem geheimen, versteckten Ort f\u252\'fchrt. Der Teich ist klar, und die Katze kann endlich ihren Durst l\u246\'f6schen. Sie ist sehr zufrieden und kehrt sp\u228\'e4ter zur\u252\'fcck zu ihrem Baum, um sich wieder auszuruhen. #00:20:09-00#\line I: Danke sch\u246\'f6n.}
|
38
|
+
\par \pard\plain \s0\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\nowidctlpar\hyphpar1\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af6\langfe2052\sl100\slmult0\qc\hyphpar0\fi0\li0\lin0\ri0\rin0\sb238\sa0\loch
|
39
|
+
|
40
|
+
\par }
|
@@ -0,0 +1,106 @@
|
|
1
|
+
# Configuration file for fluency task
|
2
|
+
# =======================================
|
3
|
+
input_file: "text" #or 'audio'
|
4
|
+
fluency_task: &fluency_flag true
|
5
|
+
#========================================
|
6
|
+
|
7
|
+
#general configurations; always adapt
|
8
|
+
language: "german"
|
9
|
+
multiple_sessions: &session_flag false
|
10
|
+
|
11
|
+
corpus_key: "acq"
|
12
|
+
corpus_values: #names of fluency tasks (e.g. "animals", "clothes")
|
13
|
+
- "animals"
|
14
|
+
- "clothes"
|
15
|
+
- "food"
|
16
|
+
|
17
|
+
#Specify linguistic metrics to extract
|
18
|
+
metric_to_extract: 'embeddings' #Possible options: 'embeddings', 'logits'
|
19
|
+
output_document_information: true
|
20
|
+
#====================================================================
|
21
|
+
|
22
|
+
#Optional configurations; Change with preference. However, default settings recommended
|
23
|
+
cleaning_options:
|
24
|
+
general_cleaning: true
|
25
|
+
#Options for fluency tasks
|
26
|
+
fluency_task: *fluency_flag
|
27
|
+
word_splitter: ';' #default split with ',' add different word_splitter if necessary
|
28
|
+
remove_hyphens: true
|
29
|
+
remove_duplicates: false
|
30
|
+
lowercase: false
|
31
|
+
#Optional cleaning
|
32
|
+
remove_brackets_and_bracketcontent: false #default 'false'
|
33
|
+
remove_timestamps: false #default 'false'
|
34
|
+
timestamp_pattern_example: null #e.g. "#00:00:23-00#"
|
35
|
+
remove_punctuation: false #Careful!: If set to true word_splitter might be removed
|
36
|
+
|
37
|
+
options_embeddings:
|
38
|
+
tokenization_method: "whitespace" #or "model"
|
39
|
+
model_name: "fastText" #e.g. "fastText", "xlm-roberta-base"
|
40
|
+
pytorch_based_model: false
|
41
|
+
method: "model_instance"
|
42
|
+
max_length: null
|
43
|
+
clean_embedding_tokens: true
|
44
|
+
|
45
|
+
semantic-similarity: true
|
46
|
+
distance-from-randomness: false
|
47
|
+
|
48
|
+
options_dis_from_randomness:
|
49
|
+
window_size: 8
|
50
|
+
min_len: null
|
51
|
+
bootstrap: 10000
|
52
|
+
shuffle_mode: 'include0_includeN'
|
53
|
+
parallel_computing: false #not yet set up
|
54
|
+
|
55
|
+
options_semantic-similarity:
|
56
|
+
window_sizes: #'all' or window size as integer
|
57
|
+
- 2
|
58
|
+
- 8
|
59
|
+
#==================================================================
|
60
|
+
|
61
|
+
#Extra configurations;
|
62
|
+
task_name: "fluency"
|
63
|
+
create_aggregation_of_results: true
|
64
|
+
|
65
|
+
pipeline_options:
|
66
|
+
quality_check: false
|
67
|
+
clean_text: true
|
68
|
+
tokenize_text: false
|
69
|
+
normalize_text: false
|
70
|
+
|
71
|
+
general_cleaning_options:
|
72
|
+
strip_whitespace: true
|
73
|
+
merge_multiple_whitespaces: true
|
74
|
+
remove_whitespace_before_punctuation: true
|
75
|
+
merge_newline_characters: true
|
76
|
+
remove_backslashes: true
|
77
|
+
|
78
|
+
has_multiple_sections: false
|
79
|
+
has_section_titles: false
|
80
|
+
section_identification: null
|
81
|
+
number_of_sections: 1
|
82
|
+
number_of_speakers: 1
|
83
|
+
discourse: false
|
84
|
+
|
85
|
+
document_information_output:
|
86
|
+
parameters:
|
87
|
+
- subject_ID
|
88
|
+
- fluency_word_count
|
89
|
+
- fluency_duplicate_count
|
90
|
+
|
91
|
+
#================================================================
|
92
|
+
|
93
|
+
#Detail configurations; Changes optional, mostly used for quality checking / error handling
|
94
|
+
recompute_everything: true
|
95
|
+
number_of_subjects: null
|
96
|
+
|
97
|
+
# Filename components configuration
|
98
|
+
filename_components:
|
99
|
+
subject: true # mandatory
|
100
|
+
session: *session_flag
|
101
|
+
task: true # mandatory
|
102
|
+
task_addition: false
|
103
|
+
corpus: true # typically true for fluency tasks (e.g., "animals", "clothes")
|
104
|
+
metric: true
|
105
|
+
additional_tags: []
|
106
|
+
|
@@ -0,0 +1 @@
|
|
1
|
+
Ameise; Affe; Bär; Chamäleon; Delphin; Dachs; Drossel; Elch; Esel; Eichhörnchen; Einhorn; Flunder; Giraffe; Gans; Ente; Hahn; Jaguar; Igel; Kanguru; Kamel; Lachs; Luchs
|
@@ -0,0 +1 @@
|
|
1
|
+
Socke; Wanderschuh; Sneaker; Jeans; Rock; Jupe; Strumpfhose; Lange Unterhose; Normale Unterhose; String; Tanga; Shirt; Unterhemd; Bluse; Jackett; Blazer; Pullover; Hoodie; Jacke; Winterjacke; Skihose; Hut; Cap; Leggings
|
@@ -0,0 +1 @@
|
|
1
|
+
Apfel; Birne; Mandarine; Clementine; Ananas; Granatapfel; Brot; Fisch; Fleisch; Milch; Müsli; Haferflocken; Nüsse; Spaghetti; Tomatensauce; Tomaten; Broccoli; Blumenkohl; Lauch; Zucchetti; Pepperoni; Zucchini; Tofu; Fleisch; Fleischersatz; Pizza; Mozzarella; Käse; Parmesan; Nutella; Butter
|
@@ -0,0 +1 @@
|
|
1
|
+
Hund; Katze; Maus; Bär; Krokodil; Pferd; Hase; Jaguar; Tiger; Löwe; Huhn; Känguru; Puma; Vogel; Eichhörnchen; Pferd; Eisbär; Biene; Fliege; Käfer; Spinne; Mücke; Krähe
|
@@ -0,0 +1 @@
|
|
1
|
+
Turnschuhe; Sandalen; Stiefel; Ballerinas; Flipflops; Hose; Leggings; Shorts; Bermuda; Unterhose; Shirt; Sweatshirt; Pulli; Halskragenpullover; Hemd; Bluse; Jacke; Blazer; Lederjacke; Jeansjacke; Mantel; Hut; Stuck; Ohrring; Mütze; Schal; Handschuhe; Body; BH; Unterleib; Strumpfhosen; Socken
|
@@ -0,0 +1 @@
|
|
1
|
+
Salat; Gurke; Tomate; Zwiebel; Frühlingszwiebel; Radieschen; Paprika; Zucchini; Aubergine; Pilze; Sellerie; Banane; Apfel; Erdbeere; Kirsche; Trauben; Himbeeren; Heidelbeeren; Blaubeeren; Erdbeeren; Ananas; Zitrone; Avocado; Kaki; Milch; Joghurt; Käse; Hüttenkäse; Eier; Fisch; Forelle; Lachs; Branzino; Kerne; Pinienkerne
|
@@ -0,0 +1,135 @@
|
|
1
|
+
# Master Configuration File
|
2
|
+
# ========================
|
3
|
+
|
4
|
+
# Basic Settings
|
5
|
+
# -------------
|
6
|
+
input_file: "text" # Options: 'text' or 'audio'
|
7
|
+
language: "german" # Options: 'german', 'english'
|
8
|
+
recompute_everything: true # If false, reuses previously computed results
|
9
|
+
|
10
|
+
# Task Configuration
|
11
|
+
# -----------------
|
12
|
+
task_name: "image-description" # Options: 'fluency', 'interview'
|
13
|
+
fluency_task: &fluency_flag false # Flag for fluency-specific settings
|
14
|
+
discourse: &discourse_flag false # Flag for discourse-specific settings
|
15
|
+
corpus_names: # List of task corpora
|
16
|
+
- "placebo"
|
17
|
+
- "drug"
|
18
|
+
|
19
|
+
# Session and Subject Settings
|
20
|
+
# --------------------------
|
21
|
+
multiple_sessions: true
|
22
|
+
number_of_subjects: null # If null, auto-detected
|
23
|
+
number_of_speakers: 1
|
24
|
+
subject_speakertag: null # Speaker tag for subject (e.g., "B")
|
25
|
+
|
26
|
+
# Document Structure
|
27
|
+
# ----------------
|
28
|
+
has_multiple_sections: true
|
29
|
+
has_section_titles: true
|
30
|
+
section_identification: "Bild:" # e.g., "Section:"
|
31
|
+
number_of_sections: null # If null, auto-detected
|
32
|
+
|
33
|
+
# Processing Pipeline
|
34
|
+
# -----------------
|
35
|
+
pipeline_options:
|
36
|
+
quality_check: false
|
37
|
+
clean_text: true
|
38
|
+
tokenize_text: false
|
39
|
+
normalize_text: false
|
40
|
+
|
41
|
+
# Metric Extraction
|
42
|
+
# ---------------
|
43
|
+
metric_to_extract: "embeddings" # Options: 'embeddings', 'logits'
|
44
|
+
extract_logits: null
|
45
|
+
extract_embeddings: true
|
46
|
+
|
47
|
+
# Cleaning Options
|
48
|
+
# --------------
|
49
|
+
cleaning_options:
|
50
|
+
general_cleaning: true
|
51
|
+
remove_punctuation: false
|
52
|
+
lowercase: false
|
53
|
+
remove_brackets_and_bracketcontent: true
|
54
|
+
remove_timestamps: false
|
55
|
+
timestamp_pattern_example: null # e.g., "#00:00:23-00#"
|
56
|
+
# Fluency-specific options
|
57
|
+
fluency_task: *fluency_flag
|
58
|
+
word_splitter: ';'
|
59
|
+
remove_hyphens: false
|
60
|
+
remove_duplicates: false
|
61
|
+
|
62
|
+
general_cleaning_options:
|
63
|
+
strip_whitespace: true
|
64
|
+
merge_multiple_whitespaces: true
|
65
|
+
remove_whitespace_before_punctuation: true
|
66
|
+
merge_newline_characters: true
|
67
|
+
remove_backslashes: true
|
68
|
+
|
69
|
+
# Embedding Options
|
70
|
+
# ---------------
|
71
|
+
options_embeddings:
|
72
|
+
tokenization_method: "model_roberta" #or "whitespace", "model"
|
73
|
+
max_length: 512 #max sequence length
|
74
|
+
model_name: "xlm-roberta-base" #e.g. "fastText", "xlm-roberta-base"
|
75
|
+
pytorch_based_model: true
|
76
|
+
method: "model_instance"
|
77
|
+
max_length: 512
|
78
|
+
clean_embedding_tokens: true
|
79
|
+
remove_punctuation: false
|
80
|
+
lowercase: false
|
81
|
+
keep_speakertags: false
|
82
|
+
semantic-similarity: false
|
83
|
+
window_size: null
|
84
|
+
clean_tokens: true
|
85
|
+
distance-from-randomness: false
|
86
|
+
output_options:
|
87
|
+
exclude_special_tokens: true
|
88
|
+
remove_'_'_character: true
|
89
|
+
remove_speaker_labels: true
|
90
|
+
remove_punctuation_and_symbols: true
|
91
|
+
remove_brackets_and_content: true
|
92
|
+
|
93
|
+
# Logits Options
|
94
|
+
# -------------
|
95
|
+
options_logits:
|
96
|
+
chunk_size: 128
|
97
|
+
overlap_size: 64
|
98
|
+
tokenization_method: "model"
|
99
|
+
model_name: "DiscoResearch/Llama3-German-8B-32k"
|
100
|
+
remove_punctuation: true
|
101
|
+
lowercase: true
|
102
|
+
keep_speakertags: true
|
103
|
+
|
104
|
+
# Analysis Options
|
105
|
+
# --------------
|
106
|
+
options_semantic-similarity:
|
107
|
+
window_sizes: # 'all' or window size as integer
|
108
|
+
- 2
|
109
|
+
- 8
|
110
|
+
|
111
|
+
options_dis_from_randomness:
|
112
|
+
window_size: 8
|
113
|
+
min_len: null
|
114
|
+
bootstrap: 10000
|
115
|
+
shuffle_mode: 'include0_includeN'
|
116
|
+
parallel_computing: false
|
117
|
+
|
118
|
+
# Normalization Options
|
119
|
+
# -------------------
|
120
|
+
normalization_options:
|
121
|
+
method: "lemmatization" # Options: 'lemmatization', 'stemming'
|
122
|
+
|
123
|
+
# Filename Configuration
|
124
|
+
# --------------------
|
125
|
+
filename_components:
|
126
|
+
subject: true # mandatory
|
127
|
+
session: false
|
128
|
+
task: true # mandatory
|
129
|
+
task_addition: false
|
130
|
+
corpus: true
|
131
|
+
metric: true
|
132
|
+
additional_tags: []
|
133
|
+
|
134
|
+
create_aggregation_of_results: false
|
135
|
+
output_document_information: false
|
Binary file
|
Binary file
|
Binary file
|
Binary file
|
Binary file
|
Binary file
|
@@ -0,0 +1,211 @@
|
|
1
|
+
import unittest
|
2
|
+
import os
|
3
|
+
import yaml
|
4
|
+
from pathlib import Path
|
5
|
+
import shutil
|
6
|
+
import tempfile
|
7
|
+
import json
|
8
|
+
import subprocess
|
9
|
+
import sys
|
10
|
+
import logging
|
11
|
+
import signal
|
12
|
+
from contextlib import contextmanager
|
13
|
+
|
14
|
+
# Add the project root to the Python path
|
15
|
+
project_root = Path(__file__).parent.parent.parent
|
16
|
+
sys.path.append(str(project_root))
|
17
|
+
|
18
|
+
from pelican_nlp.config import DEBUG_MODE, debug_print
|
19
|
+
|
20
|
+
class TimeoutError(Exception):
|
21
|
+
pass
|
22
|
+
|
23
|
+
@contextmanager
|
24
|
+
def timeout(seconds):
|
25
|
+
def signal_handler(signum, frame):
|
26
|
+
raise TimeoutError(f"Timed out after {seconds} seconds")
|
27
|
+
|
28
|
+
# Register the signal handler
|
29
|
+
signal.signal(signal.SIGALRM, signal_handler)
|
30
|
+
signal.alarm(seconds)
|
31
|
+
|
32
|
+
try:
|
33
|
+
yield
|
34
|
+
finally:
|
35
|
+
# Disable the alarm
|
36
|
+
signal.alarm(0)
|
37
|
+
|
38
|
+
class TestExamples(unittest.TestCase):
|
39
|
+
@classmethod
|
40
|
+
def setUpClass(cls):
|
41
|
+
debug_print("Setting up test environment...")
|
42
|
+
# Create a temporary directory for test outputs
|
43
|
+
cls.test_dir = tempfile.mkdtemp()
|
44
|
+
cls.examples_dir = Path(__file__).parent / "examples"
|
45
|
+
|
46
|
+
# Load all example configurations
|
47
|
+
cls.examples = {}
|
48
|
+
for example_type in ["fluency", "discourse", "image-descriptions"]:
|
49
|
+
example_dir = cls.examples_dir / f"example_{example_type}"
|
50
|
+
config_path = example_dir / f"config_{example_type}.yml"
|
51
|
+
|
52
|
+
debug_print(f"Loading configuration for {example_type}...")
|
53
|
+
if not config_path.exists():
|
54
|
+
debug_print(f"Warning: Config file not found: {config_path}")
|
55
|
+
continue
|
56
|
+
|
57
|
+
with open(config_path, 'r') as f:
|
58
|
+
config = yaml.safe_load(f)
|
59
|
+
|
60
|
+
cls.examples[example_type] = {
|
61
|
+
"config_path": config_path,
|
62
|
+
"config": config,
|
63
|
+
"example_dir": example_dir
|
64
|
+
}
|
65
|
+
|
66
|
+
@classmethod
|
67
|
+
def tearDownClass(cls):
|
68
|
+
debug_print("Cleaning up test environment...")
|
69
|
+
# Clean up temporary directory
|
70
|
+
shutil.rmtree(cls.test_dir)
|
71
|
+
|
72
|
+
def setUp(self):
|
73
|
+
# Create a fresh output directory for each test
|
74
|
+
self.output_dir = Path(self.test_dir) / "test_output"
|
75
|
+
self.output_dir.mkdir(exist_ok=True)
|
76
|
+
|
77
|
+
def run_pelican_pipeline(self, example_dir, config_path, output_dir):
|
78
|
+
"""Run the pelican pipeline with the given configuration file"""
|
79
|
+
debug_print(f"Running pipeline with config: {config_path}")
|
80
|
+
try:
|
81
|
+
# Change to the example directory before running the command
|
82
|
+
original_dir = os.getcwd()
|
83
|
+
os.chdir(example_dir)
|
84
|
+
|
85
|
+
# Print current directory and files
|
86
|
+
debug_print(f"Current directory: {os.getcwd()}")
|
87
|
+
debug_print("Files in current directory:")
|
88
|
+
for f in os.listdir('.'):
|
89
|
+
debug_print(f" - {f}")
|
90
|
+
|
91
|
+
# Run pelican-run with the configuration file and timeout
|
92
|
+
with timeout(300): # 5 minute timeout
|
93
|
+
# Use run with real-time output
|
94
|
+
process = subprocess.run(
|
95
|
+
["pelican-run", "--config", str(config_path), "--output", str(output_dir)],
|
96
|
+
stdout=subprocess.PIPE,
|
97
|
+
stderr=subprocess.PIPE,
|
98
|
+
text=True,
|
99
|
+
check=True
|
100
|
+
)
|
101
|
+
|
102
|
+
# Print output after completion
|
103
|
+
if process.stdout:
|
104
|
+
print("Pipeline output:")
|
105
|
+
print(process.stdout)
|
106
|
+
if process.stderr:
|
107
|
+
print("Pipeline errors:")
|
108
|
+
print(process.stderr)
|
109
|
+
|
110
|
+
# Change back to original directory
|
111
|
+
os.chdir(original_dir)
|
112
|
+
|
113
|
+
debug_print("Pipeline completed successfully")
|
114
|
+
return True, "Pipeline completed successfully"
|
115
|
+
except TimeoutError as e:
|
116
|
+
os.chdir(original_dir)
|
117
|
+
debug_print(f"Pipeline timed out: {str(e)}")
|
118
|
+
return False, f"Error: Pipeline timed out after 5 minutes"
|
119
|
+
except subprocess.CalledProcessError as e:
|
120
|
+
# Change back to original directory even if there's an error
|
121
|
+
os.chdir(original_dir)
|
122
|
+
debug_print(f"Pipeline failed with exit code {e.returncode}")
|
123
|
+
if e.stdout:
|
124
|
+
print("Pipeline output:")
|
125
|
+
print(e.stdout)
|
126
|
+
if e.stderr:
|
127
|
+
print("Pipeline errors:")
|
128
|
+
print(e.stderr)
|
129
|
+
return False, f"Error: Pipeline failed with exit code {e.returncode}"
|
130
|
+
except Exception as e:
|
131
|
+
os.chdir(original_dir)
|
132
|
+
debug_print(f"Unexpected error: {str(e)}")
|
133
|
+
return False, f"Error: {str(e)}"
|
134
|
+
|
135
|
+
def test_discourse_example(self):
|
136
|
+
"""Test running the discourse example through the pipeline"""
|
137
|
+
debug_print("Testing discourse example...")
|
138
|
+
if "discourse" not in self.examples:
|
139
|
+
self.skipTest("Discourse example configuration not found")
|
140
|
+
|
141
|
+
example = self.examples["discourse"]
|
142
|
+
output_dir = self.output_dir / "discourse"
|
143
|
+
output_dir.mkdir(exist_ok=True)
|
144
|
+
|
145
|
+
success, output = self.run_pelican_pipeline(
|
146
|
+
example["example_dir"],
|
147
|
+
example["config_path"],
|
148
|
+
output_dir
|
149
|
+
)
|
150
|
+
self.assertTrue(success, f"Pipeline failed: {output}")
|
151
|
+
|
152
|
+
# Verify output files were created
|
153
|
+
self.assertTrue(output_dir.exists())
|
154
|
+
self.assertTrue(len(list(output_dir.glob("*"))) > 0)
|
155
|
+
debug_print("Discourse example test completed")
|
156
|
+
|
157
|
+
def test_fluency_example(self):
|
158
|
+
"""Test running the fluency example through the pipeline"""
|
159
|
+
debug_print("Testing fluency example...")
|
160
|
+
if "fluency" not in self.examples:
|
161
|
+
self.skipTest("Fluency example configuration not found")
|
162
|
+
|
163
|
+
example = self.examples["fluency"]
|
164
|
+
output_dir = self.output_dir / "fluency"
|
165
|
+
output_dir.mkdir(exist_ok=True)
|
166
|
+
|
167
|
+
success, output = self.run_pelican_pipeline(
|
168
|
+
example["example_dir"],
|
169
|
+
example["config_path"],
|
170
|
+
output_dir
|
171
|
+
)
|
172
|
+
self.assertTrue(success, f"Pipeline failed: {output}")
|
173
|
+
|
174
|
+
# Verify output files were created
|
175
|
+
self.assertTrue(output_dir.exists())
|
176
|
+
self.assertTrue(len(list(output_dir.glob("*"))) > 0)
|
177
|
+
debug_print("Fluency example test completed")
|
178
|
+
|
179
|
+
def test_image_descriptions_example(self):
|
180
|
+
"""Test running the image descriptions example through the pipeline"""
|
181
|
+
debug_print("Testing image descriptions example...")
|
182
|
+
if "image-descriptions" not in self.examples:
|
183
|
+
self.skipTest("Image descriptions example configuration not found")
|
184
|
+
|
185
|
+
example = self.examples["image-descriptions"]
|
186
|
+
output_dir = self.output_dir / "image-descriptions"
|
187
|
+
output_dir.mkdir(exist_ok=True)
|
188
|
+
|
189
|
+
success, output = self.run_pelican_pipeline(
|
190
|
+
example["example_dir"],
|
191
|
+
example["config_path"],
|
192
|
+
output_dir
|
193
|
+
)
|
194
|
+
self.assertTrue(success, f"Pipeline failed: {output}")
|
195
|
+
|
196
|
+
# Verify output files were created
|
197
|
+
self.assertTrue(output_dir.exists())
|
198
|
+
self.assertTrue(len(list(output_dir.glob("*"))) > 0)
|
199
|
+
debug_print("Image descriptions example test completed")
|
200
|
+
|
201
|
+
def suite():
|
202
|
+
"""Create a test suite with all test cases"""
|
203
|
+
suite = unittest.TestSuite()
|
204
|
+
suite.addTest(TestExamples('test_discourse_example'))
|
205
|
+
suite.addTest(TestExamples('test_fluency_example'))
|
206
|
+
suite.addTest(TestExamples('test_image_descriptions_example'))
|
207
|
+
return suite
|
208
|
+
|
209
|
+
if __name__ == '__main__':
|
210
|
+
runner = unittest.TextTestRunner(verbosity=2)
|
211
|
+
runner.run(suite())
|
@@ -1,8 +1,8 @@
|
|
1
1
|
pelican_nlp/__init__.py,sha256=TD5xjKeXXAH6nUWG-6igbClgovi5r8RIEqI_ix1QeYo,204
|
2
|
-
pelican_nlp/_version.py,sha256=
|
3
|
-
pelican_nlp/cli.py,sha256=
|
4
|
-
pelican_nlp/config.py,sha256=
|
5
|
-
pelican_nlp/main.py,sha256=
|
2
|
+
pelican_nlp/_version.py,sha256=UwIhDBoqqZjYW7sIs3nj3FDOHCGSvF-VwNKHwkA_fmI,21
|
3
|
+
pelican_nlp/cli.py,sha256=YqdF3DjuMdPFo7PAXWPdLGMqdDpESq3d4VSwowsexsA,1208
|
4
|
+
pelican_nlp/config.py,sha256=LuZnuaq0Z49FgRgKJ7F6mwl1yr60QQDfMtD29ocbKfw,1000
|
5
|
+
pelican_nlp/main.py,sha256=CAYVrOHOG1gIJ_WkjlYeXUQPNvsNbAGDd0we92Z0sGI,8784
|
6
6
|
pelican_nlp/Nils_backup/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
|
7
7
|
pelican_nlp/Nils_backup/extract_acoustic_features.py,sha256=eSP8lXxbZ15YE1HqxGtma9uWOcSN-fI-ig-NwQ9eOA8,10771
|
8
8
|
pelican_nlp/Nils_backup/speaker_diarization_Nils.py,sha256=3RIhjKihu4Z1rruMt9KESFE2lqesfzIpRr7rLummUEo,10219
|
@@ -45,9 +45,9 @@ pelican_nlp/core/subject.py,sha256=Jx99vPn0K0KT_9BsJOY8XviFU_GuZGuwtb1rbLNkiUI,1
|
|
45
45
|
pelican_nlp/extraction/__init__.py,sha256=hfqFiaKpQBS6cwRm9Yd7MpOcV60_xJmwuQ2Kegary5k,84
|
46
46
|
pelican_nlp/extraction/acoustic_feature_extraction.py,sha256=Ol6fqyy94Iym1Z-eTVoz8EmqfV58boz5WAoamAK7JVE,2323
|
47
47
|
pelican_nlp/extraction/distance_from_randomness.py,sha256=yikZ3GK2dqpzuNFPVsjuUK0lo6kHOIoIhKPaVrGXRMQ,3365
|
48
|
-
pelican_nlp/extraction/extract_embeddings.py,sha256=
|
49
|
-
pelican_nlp/extraction/extract_logits.py,sha256=
|
50
|
-
pelican_nlp/extraction/language_model.py,sha256=
|
48
|
+
pelican_nlp/extraction/extract_embeddings.py,sha256=LobzYEtjOpI_SvMZUb0u3QiOyZ2gPQD9bjQI9qwaogw,5719
|
49
|
+
pelican_nlp/extraction/extract_logits.py,sha256=4r8KbsqejD3UR3gCAAjm_sQhBkz8t_ePkv30bVGZg18,4116
|
50
|
+
pelican_nlp/extraction/language_model.py,sha256=EZE5bl-7pzPKoBIM9rnk7MJSFdMO6iQVnWmpQQsP8MU,5662
|
51
51
|
pelican_nlp/extraction/semantic_similarity.py,sha256=QhY5CAOAorxEo3UBWPlMegFvbySF0KH6j4j3m2I3_NY,2552
|
52
52
|
pelican_nlp/extraction/test_documents/test_features.csv,sha256=LR_3m4vIm-YWKw5gI5ziswhS-NF9VhKv14c2udLxtJU,488482
|
53
53
|
pelican_nlp/extraction/test_documents/wallace_1.15_3.txt,sha256=ShXxOHUZzGPNUqIcOn6-OYkarzNtTC22V05a_Xpvtlw,3731
|
@@ -62,18 +62,36 @@ pelican_nlp/preprocessing/speaker_diarization.py,sha256=N6dZCa2AHHGw__g9e-ZUyZM_
|
|
62
62
|
pelican_nlp/preprocessing/text_cleaner.py,sha256=QKqxwoRR8dnuBYiY-PXK1kB7744TVUcUMJb7dbKvXGk,7512
|
63
63
|
pelican_nlp/preprocessing/text_importer.py,sha256=FtSyJjFXDxVle7Jpyw6EqCLDbLTCRxqVQi9ymWWtPB4,1356
|
64
64
|
pelican_nlp/preprocessing/text_normalizer.py,sha256=huo5VFqJ0p2jq-ud1047XvMu1qNeaiuG879SF3zkJoM,894
|
65
|
-
pelican_nlp/preprocessing/text_tokenizer.py,sha256=
|
66
|
-
pelican_nlp/
|
67
|
-
pelican_nlp/sample_configuration_files/
|
68
|
-
pelican_nlp/sample_configuration_files/
|
65
|
+
pelican_nlp/preprocessing/text_tokenizer.py,sha256=vUYayGLtMHTtJunTaEgiqjxJt658puEsFi3wTFfW6qw,1989
|
66
|
+
pelican_nlp/project_graph/graph_visualization.py,sha256=M99hGFKAun4_U2VQk9VQBMCF-imNAhQBHMhOvArPvMk,4648
|
67
|
+
pelican_nlp/sample_configuration_files/config_discourse.yml,sha256=l1FN8NcgEbb4s8PqPFErnspDqjSD-SEiIWYcDfSS0Xw,3681
|
68
|
+
pelican_nlp/sample_configuration_files/config_fluency.yml,sha256=BESisuMG9JPEBpbRPzEDmYVMIEHDY5Pf6HKqTWTa624,3007
|
69
|
+
pelican_nlp/sample_configuration_files/config_general.yml,sha256=FsGfcc8bK-di5dYuD-ri4sJlh2johQVEWUqsH7T6cCA,4172
|
69
70
|
pelican_nlp/utils/__init__.py,sha256=q1tGdOOj5UPRC2mGhoMUh8p4cbFCkkbD21bQaOVvFao,189
|
70
71
|
pelican_nlp/utils/csv_functions.py,sha256=7X8pGh49TGZGs7h6JrJD846swCqSHL32mmXJ-8qLWPE,7774
|
71
72
|
pelican_nlp/utils/filename_parser.py,sha256=PGSKjiYDe_JVAFGcaYHdIYazB3p4MUiG6n8h_uZl8d8,551
|
72
73
|
pelican_nlp/utils/sample_usage.py,sha256=W__OVMjWND-ZtxxRhfGJDHwbVpGlB-anXDxyA5P4cME,353
|
73
|
-
pelican_nlp/utils/setup_functions.py,sha256=
|
74
|
-
pelican_nlp
|
75
|
-
pelican_nlp
|
76
|
-
pelican_nlp-
|
77
|
-
pelican_nlp
|
78
|
-
pelican_nlp-
|
79
|
-
pelican_nlp-
|
74
|
+
pelican_nlp/utils/setup_functions.py,sha256=Xk-9W1-ylex8De5w6jxAqWJUlmbe5z-c2EvwptTZ7RQ,4539
|
75
|
+
pelican_nlp/utils/unittests/test_examples.py,sha256=XLc9my0cwpPN9W8gBAPnPTVnBf77kMQeO0Xo38oH4Tg,7849
|
76
|
+
pelican_nlp/utils/unittests/examples/example_discourse/config_discourse.yml,sha256=jBSJ07dPujoZo2bOK15_RW4_dKALOWTzI55KljmWJKg,3709
|
77
|
+
pelican_nlp/utils/unittests/examples/example_discourse/subjects/sub-01/interview/sub-01_task-interview_acq-schizophrenia_run-01_transcript.rtf,sha256=uhr1dwkb_z7Q71GGls-KbFAkfv9W5QqH_C6-E0ymV-Y,13599
|
78
|
+
pelican_nlp/utils/unittests/examples/example_fluency/config_fluency.yml,sha256=BESisuMG9JPEBpbRPzEDmYVMIEHDY5Pf6HKqTWTa624,3007
|
79
|
+
pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-01/fluency/sub-01_task-fluency_cat-semantic_acq-animals_text.txt,sha256=j_fECIJmlw3-58ZBz-qjRcgm6ZhUl5RWIs-EYk_XB1Y,172
|
80
|
+
pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-01/fluency/sub-01_task-fluency_cat-semantic_acq-clothes_text.txt,sha256=vqaPRYACfPWPZZZge2kEFnMJUISEH01ZBn4ausmzQ-I,220
|
81
|
+
pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-01/fluency/sub-01_task-fluency_cat-semantic_acq-food_text.txt,sha256=kePsKSKcxc51aPeLIEUNi6KnXNKbdh11Sr9qpVQ040U,293
|
82
|
+
pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-02/fluency/sub-02_task-fluency_cat-semantic_acq-animals_text.txt,sha256=NnlfvzEF71KB-mo_zLl3cptUENVprCaolGhHTI0LPDQ,175
|
83
|
+
pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-02/fluency/sub-02_task-fluency_cat-semantic_acq-clothes_text.txt,sha256=W3AjxdndM2O61v4b4N9Z_a6JFTzGYKUZomqMp7FIEig,294
|
84
|
+
pelican_nlp/utils/unittests/examples/example_fluency/subjects/sub-02/fluency/sub-02_task-fluency_cat-semantic_acq-food_text.txt,sha256=9-jdhJtTutfkm7LS9z0aewg1tGJ3IKUF7zM1QQzumxo,328
|
85
|
+
pelican_nlp/utils/unittests/examples/example_image-descriptions/config_image-descriptions.yml,sha256=HuPI7Py_57FwyfHEdIPk0LcdsMKze3XjmEuP6kPirP4,3540
|
86
|
+
pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-01/ses-01/image-description/sub-01_ses-01_task-imgdesc_acq-drug_transcript.docx,sha256=Mezc6uw9_YIulP1FdpolZSKkphn0bPtHDpdgf0J3UJ4,9050
|
87
|
+
pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-01/ses-01/image-description/sub-01_ses-01_task-imgdesc_acq-placebo_transcript.docx,sha256=YezDk9n0LK5MRS0XqWCeYp_ilcoGo9QhOp40i0T1mko,9265
|
88
|
+
pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-01/ses-02/image-description/sub-01_ses-02_task-imgdesc_acq-drug_transcript.docx,sha256=DbioHVrTK0mBD-a_HxsUT9pxyFG65i02lzOv7KffXG4,9049
|
89
|
+
pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-01/ses-02/image-description/sub-01_ses-02_task-imgdesc_acq-placebo_transcript.docx,sha256=PCq2yOzkbM6dm6trlIcYR06LZfTjf23naQlyFKrsiL4,9265
|
90
|
+
pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-02/ses-01/image-description/sub-02_ses-01_task-imgdesc_acq-drug_transcript.docx,sha256=AL6N4Wfz778OHqGaX9tGwGw8S-FV2GoPJnpXi-zbj-4,9104
|
91
|
+
pelican_nlp/utils/unittests/examples/example_image-descriptions/subjects/sub-02/ses-01/image-description/sub-02_ses-01_task-imgdesc_acq-placebo_transcript.docx,sha256=7PzVm3Byi_cMvfhP0msggtUE7dvO9Gav2WgcGU0Ipb4,12458
|
92
|
+
pelican_nlp-0.3.4.dist-info/licenses/LICENSE,sha256=m3jshBZIXKiBX6qhmhtJcLTVJ1N6BEkQGIflneXvpYg,19336
|
93
|
+
pelican_nlp-0.3.4.dist-info/METADATA,sha256=VnroOfFDlPvOW-OpiFZLRhwVHhkE_uA0bDYG8XKhMzw,6839
|
94
|
+
pelican_nlp-0.3.4.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
|
95
|
+
pelican_nlp-0.3.4.dist-info/entry_points.txt,sha256=znlG0paAfju9P10UM3rm5HcCHoj4tarTllNpeaqH_gc,53
|
96
|
+
pelican_nlp-0.3.4.dist-info/top_level.txt,sha256=F0qlyqy5FCd3sTS_npUYPeLKN9_BZq6wD4qo9pI0xbg,12
|
97
|
+
pelican_nlp-0.3.4.dist-info/RECORD,,
|
File without changes
|
File without changes
|
File without changes
|