pelican-nlp 0.1.0__tar.gz → 0.1.2__tar.gz

pelican_nlp-0.1.2/MANIFEST.in

@@ -0,0 +1,27 @@
+include README.rst
+include LICENSE
+include requirements.txt
+include pyproject.toml
+
+# Include documentation
+include CONTRIBUTING.md
+include CHANGES
+recursive-include docs *
+
+# Include examples
+recursive-include examples *.py *.yml *.yaml *.txt
+
+# Include test files
+recursive-include tests *.py
+
+# Include package data
+recursive-include pelican_nlp *.py *.json *.yml *.yaml
+
+# Exclude cache and build files
+global-exclude __pycache__
+global-exclude *.py[cod]
+global-exclude *.so
+global-exclude .git*
+global-exclude .DS_Store
+
+exclude .gitignore

{pelican_nlp-0.1.0 → pelican_nlp-0.1.2}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: pelican_nlp
-Version: 0.1.0
+Version: 0.1.2
 Summary: Preprocessing and Extraction of Linguistic Information for Computational Analysis
 Author-email: Yves Pauli <yves.pauli@gmail.com>
 License-Expression: CC-BY-NC-4.0
@@ -51,7 +51,7 @@ PELICAN_nlp
 PELICAN_nlp stands for "Preprocessing and Extraction of Linguistic Information for Computational Analysis - Natural Language Processing". This package enables the creation of standardized and reproducible language processing pipelines, extracting linguistic features from various tasks like discourse, fluency, and image descriptions.
 
 .. image:: https://img.shields.io/pypi/v/package-name.svg
-    :target: https://pypi.org/project/package-name/
+    :target: https://pypi.org/project/pelican-nlp/
     :alt: PyPI version
 
 .. image:: https://img.shields.io/github/license/username/package-name.svg
@@ -59,7 +59,7 @@ PELICAN_nlp stands for "Preprocessing and Extraction of Linguistic Information f
     :alt: License
 
 .. image:: https://img.shields.io/pypi/pyversions/package-name.svg
-    :target: https://pypi.org/project/package-name/
+    :target: https://pypi.org/project/pelican-nlp/
     :alt: Supported Python Versions
 
 Installation
@@ -75,13 +75,16 @@ For the latest development version:
 
 .. code-block:: bash
 
-    pip install git+https://github.com/ypauli/PELICAN_nlp.git
+    pip install https://github.com/yourusername/yourrepo/releases/tag/v0.1.0-alpha
 
 Usage
 =====
 
 To use the pelican_nlp package:
 
+Adapt your configuration file to your needs.
+ALWAYS change the specified project folder location.
+
 .. code-block:: python
 
     from pelican_nlp.main import Pelican
@@ -94,7 +97,7 @@ For reliable operation, data must be stored in the *Language Processing Data Str
 
 Text and audio files should follow this naming convention:
 
-subjectID_sessionID_task_task-supplement_corpus.extension
+[subjectID]_[sessionID]_[task]_[task-supplement]_[corpus].[extension]
 
 - subjectID: ID of subject (e.g., sub-01), mandatory
 - sessionID: ID of session (e.g., ses-01), if available
@@ -104,7 +107,8 @@ subjectID_sessionID_task_task-supplement_corpus.extension
 - extension: file extension (e.g., txt / pdf / docx / rtf), mandatory
 
 Example filenames:
-- sub-01_ses-01_interview_schizophrenia.rtf
+
+- sub-01_interview_schizophrenia.rtf
 - sub-03_ses-02_fluency_semantic_animals.docx
 
 To optimize performance, close other programs and limit GPU usage during language processing.
@@ -121,26 +125,15 @@ Features
 Examples
 ========
 
-Here's a detailed usage example:
-
-.. code-block:: python
-
-    from package_name import SomeClass
-
-    configuration_file = "config_fluency.yml"
-    pelican.run(configuration_file)
-
-*Link to config_fluency.yml*
-
-Sample folder for data collection of the semantic fluency task:
-*Link to sample_folder*
+You can find example setups in the [`examples/`](https://github.com/ypauli/PELICAN-nlp/examples) folder.
+ALWAYS change the path to the project folder specified in the configuration file to your specific project location.
 
 Contributing
 ============
 
-Contributions are welcome! Please check out the `contributing guide <https://github.com/ypauli/PELICAN/blob/main/CONTRIBUTING.md>`_.
+Contributions are welcome! Please check out the `contributing guide <https://github.com/ypauli/PELICAN-nlp/blob/main/CONTRIBUTING.md>`_.
 
 License
 =======
 
-This project is licensed under Attribution-NonCommercial 4.0 International. See the `LICENSE <https://github.com/ypauli/PELICAN/blob/main/LICENSE>`_ file for details.
+This project is licensed under Attribution-NonCommercial 4.0 International. See the `LICENSE <https://github.com/ypauli/PELICAN-nlp/blob/main/LICENSE>`_ file for details.

{pelican_nlp-0.1.0 → pelican_nlp-0.1.2}/README.rst

@@ -5,7 +5,7 @@ PELICAN_nlp
 PELICAN_nlp stands for "Preprocessing and Extraction of Linguistic Information for Computational Analysis - Natural Language Processing". This package enables the creation of standardized and reproducible language processing pipelines, extracting linguistic features from various tasks like discourse, fluency, and image descriptions.
 
 .. image:: https://img.shields.io/pypi/v/package-name.svg
-    :target: https://pypi.org/project/package-name/
+    :target: https://pypi.org/project/pelican-nlp/
     :alt: PyPI version
 
 .. image:: https://img.shields.io/github/license/username/package-name.svg
@@ -13,7 +13,7 @@ PELICAN_nlp stands for "Preprocessing and Extraction of Linguistic Information f
     :alt: License
 
 .. image:: https://img.shields.io/pypi/pyversions/package-name.svg
-    :target: https://pypi.org/project/package-name/
+    :target: https://pypi.org/project/pelican-nlp/
     :alt: Supported Python Versions
 
 Installation
@@ -29,13 +29,16 @@ For the latest development version:
 
 .. code-block:: bash
 
-    pip install git+https://github.com/ypauli/PELICAN_nlp.git
+    pip install https://github.com/yourusername/yourrepo/releases/tag/v0.1.0-alpha
 
 Usage
 =====
 
 To use the pelican_nlp package:
 
+Adapt your configuration file to your needs.
+ALWAYS change the specified project folder location.
+
 .. code-block:: python
 
     from pelican_nlp.main import Pelican
@@ -48,7 +51,7 @@ For reliable operation, data must be stored in the *Language Processing Data Str
 
 Text and audio files should follow this naming convention:
 
-subjectID_sessionID_task_task-supplement_corpus.extension
+[subjectID]_[sessionID]_[task]_[task-supplement]_[corpus].[extension]
 
 - subjectID: ID of subject (e.g., sub-01), mandatory
 - sessionID: ID of session (e.g., ses-01), if available
@@ -58,7 +61,8 @@ subjectID_sessionID_task_task-supplement_corpus.extension
 - extension: file extension (e.g., txt / pdf / docx / rtf), mandatory
 
 Example filenames:
-- sub-01_ses-01_interview_schizophrenia.rtf
+
+- sub-01_interview_schizophrenia.rtf
 - sub-03_ses-02_fluency_semantic_animals.docx
 
 To optimize performance, close other programs and limit GPU usage during language processing.
@@ -75,26 +79,15 @@ Features
 Examples
 ========
 
-Here's a detailed usage example:
-
-.. code-block:: python
-
-    from package_name import SomeClass
-
-    configuration_file = "config_fluency.yml"
-    pelican.run(configuration_file)
-
-*Link to config_fluency.yml*
-
-Sample folder for data collection of the semantic fluency task:
-*Link to sample_folder*
+You can find example setups in the [`examples/`](https://github.com/ypauli/PELICAN-nlp/examples) folder.
+ALWAYS change the path to the project folder specified in the configuration file to your specific project location.
 
 Contributing
 ============
 
-Contributions are welcome! Please check out the `contributing guide <https://github.com/ypauli/PELICAN/blob/main/CONTRIBUTING.md>`_.
+Contributions are welcome! Please check out the `contributing guide <https://github.com/ypauli/PELICAN-nlp/blob/main/CONTRIBUTING.md>`_.
 
 License
 =======
 
-This project is licensed under Attribution-NonCommercial 4.0 International. See the `LICENSE <https://github.com/ypauli/PELICAN/blob/main/LICENSE>`_ file for details.
+This project is licensed under Attribution-NonCommercial 4.0 International. See the `LICENSE <https://github.com/ypauli/PELICAN-nlp/blob/main/LICENSE>`_ file for details.

pelican_nlp-0.1.2/examples/PyPI_testing_discourse/config_discourse.yml

@@ -0,0 +1,106 @@
+# Configuration file for discourse protocols
+#=======================================
+input_file: "text" #or 'audio'
+discourse: &discourse_flag true
+#=====================================
+
+#general configurations; always adapt
+PATH_TO_PROJECT_FOLDER: "/home/yvespauli/PycharmProjects/PyPI_testing_discourse"
+language: "german" # Possibly add options for German and English
+
+task_name: "interview" # Give name of task used for creation of the input file (e.g., ['fluency', 'interview'])
+corpus_names:
+  - "schizophrenia"
+
+metric_to_extract: "embeddings" #Possible options: 'logits' or 'embeddings'
+
+number_of_speakers: 3
+subject_speakertag: "B"
+#=========================================================
+
+#Optional configurations; Change with preference. However, default settings recommended
+fluency_task: &fluency_flag false
+cleaning_options:
+  general_cleaning: true # General cleaning options used for most text preprocessing, default: True.
+  remove_brackets_and_bracketcontent: true
+  remove_timestamps: true
+  timestamp_pattern_example: "#00:00:19-00#"
+  remove_punctuation: false
+  lowercase: false
+  #Options for fluency tasks
+  fluency_task: *fluency_flag
+  word_splitter: null
+  remove_hyphens: null
+  remove_duplicates: null
+
+options_logits:
+  chunk_size: 128
+  overlap_size: 64
+  tokenization_method: "model"
+  #method: "model_instance" # Options: model, regex, nltk, etc.
+  model_name: "DiscoResearch/Llama3-German-8B-32k" # Replace with your model instance name
+  remove_punctuation: true
+  lowercase: true
+  keep_speakertags: true
+
+options_embeddings:
+  tokenization_method: "model_roberta" #or "whitespace", "model"
+  max_length: 512 #max sequence length
+  model_name: "xlm-roberta-base" #e.g. "fastText", "xlm-roberta-base"
+  pytorch_based_model: true
+  method: "model_instance"
+  remove_punctuation: false
+  lowercase: false
+  keep_speakertags: true
+  clean_embedding_tokens: true
+  output_options:
+    exclude_special_tokens: true
+    remove_'_'_character: true
+    remove_speaker_labels: true
+    remove_punctuation_and_symbols: true
+    remove_brackets_and_content: true
+  semantic-similarity: false
+  window_size: null
+  clean_tokens: false
+  
+  distance-from-randomness: false
+#================================================================================
+
+#Extra configurations:
+pipeline_options:
+  quality_check: false
+  clean_text: true
+  tokenize_text: false
+  normalize_text: false
+
+general_cleaning_options:
+  strip_whitespace: true
+  merge_multiple_whitespaces: true
+  remove_whitespace_before_punctuation: true
+  merge_newline_characters: true
+  remove_backslashes: true
+
+has_multiple_sections: false #evaluated independently
+has_section_titles: false
+section_identification: null #e.g. "Section:", 'null' if file does not have multiple sections, use pattern that is unlikely to appear in rest of transcript
+number_of_sections: null #if 'null' number of sections automatically detected, however, specifying number recommended if known.
+
+# Options for extract_embeddings
+window_sizes: [2]
+metric_function: cosine_similarity
+aggregation_functions: mean_of_means
+
+normalization_options:
+  method: "lemmatization" #Options: lemmatization or stemming
+#================================================================
+
+#Detail configurations; Changes optional, mostly used for quality checking / error handling
+number_of_subjects: null # Specify number of subjects; if 'null', number of subjects is automatically detected
+multiple_sessions: false # Set to True if multiple sessions per subject
+
+recompute_everything: true #If set to 'false' pelican-nlp will try to reuse previously computed results stored on your drive
+
+create_aggregation_of_results: false
+output_document_information: false
+
+

pelican_nlp-0.1.2/examples/PyPI_testing_discourse/subjects/sub-01/interview/sub-01_interview_schizophrenia_run-01.rtf

@@ -0,0 +1,40 @@
+{\rtf1\ansi\deff3\adeflang1025
+{\fonttbl{\f0\froman\fprq2\fcharset0 Times New Roman;}{\f1\froman\fprq2\fcharset2 Symbol;}{\f2\fswiss\fprq2\fcharset0 Arial;}{\f3\froman\fprq2\fcharset0 Liberation Serif{\*\falt Times New Roman};}{\f4\froman\fprq2\fcharset0 Arial;}{\f5\froman\fprq2\fcharset0 Liberation Sans{\*\falt Arial};}{\f6\fnil\fprq2\fcharset0 Noto Sans CJK SC;}{\f7\fnil\fprq2\fcharset0 0;}{\f8\fnil\fprq2\fcharset0 Noto Sans Devanagari;}}
+{\colortbl;\red0\green0\blue0;\red0\green0\blue255;\red0\green255\blue255;\red0\green255\blue0;\red255\green0\blue255;\red255\green0\blue0;\red255\green255\blue0;\red255\green255\blue255;\red0\green0\blue128;\red0\green128\blue128;\red0\green128\blue0;\red128\green0\blue128;\red128\green0\blue0;\red128\green128\blue0;\red128\green128\blue128;\red192\green192\blue192;}
+{\stylesheet{\s0\snext0\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\nowidctlpar\hyphpar1\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052 Normal;}
+{\*\cs15\snext15 Footnote Characters;}
+{\*\cs16\snext16\rtlch\ab \ltrch\loch\b Strong;}
+{\s17\sbasedon0\snext18\rtlch\af8\afs28\alang1081 \ltrch\lang1033\langfe2052\hich\af5\loch\ql\nowidctlpar\hyphpar1\sb240\sa120\keepn\ltrpar\cf0\f5\fs28\lang1033\kerning1\dbch\af6\langfe2052 Heading;}
+{\s18\sbasedon0\snext18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052 Body Text;}
+{\s19\sbasedon18\snext19\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052 List;}
+{\s20\sbasedon0\snext20\rtlch\af8\afs24\alang1081\ai \ltrch\lang1033\langfe2052\hich\af3\loch\ql\nowidctlpar\hyphpar1\sb120\sa120\ltrpar\cf0\f3\fs24\lang1033\i\kerning1\dbch\af7\langfe2052 Caption;}
+{\s21\sbasedon0\snext21\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\nowidctlpar\hyphpar1\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052 Index;}
+}{\*\generator LibreOffice/24.2.7.2$Linux_X86_64 LibreOffice_project/420$Build-2}{\info{\title 648866ebdbd870441d179a92}{\author Thomas Luthi-Bhatti}{\creatim\yr2023\mo6\dy14\hr17\min6}{\revtim\yr2025\mo4\dy8\hr13\min51}{\printim\yr0\mo0\dy0\hr0\min0}}{\*\userprops{\propname Operator}\proptype30{\staticval Ulrike Rachner}}\deftab720
+\hyphauto1\viewscale100\formshade\paperh16838\paperw11906\margl1417\margr1417\margt1417\margb1398\sectd\sbknone\sftnnar\saftnnrlc\sectunlocked1\pgwsxn11906\pghsxn16838\marglsxn1417\margrsxn1417\margtsxn1417\margbsxn1398\ftnbj\ftnstart1\ftnrestart\ftnnar\aenddoc\aftnrstcont\aftnstart1\aftnnrlc
+{\*\ftnsep\chftnsep}\pgndec\pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052\sl100\slmult0\qc\hyphpar0\fi0\li0\lin0\ri0\rin0\sb238\sa0{\hich\af4\loch\cs16\rtlch\ab \ltrch\loch\b\fs22\lang1031\f4\loch
+Interview with Interviewee}
+\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052\sl100\slmult0\qc\hyphpar0\fi0\li0\lin0\ri0\rin0\sb238\sa0\loch
+
+\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052{\loch
+I: Das ist f\u252\'fcr mich. Ich m\u246\'f6chte, dass Sie \u252\'fcber ein paar Dinge aus Ihrem t\u228\'e4glichen Leben sprechen. Sie m\u252\'fcssen (keinerlei?) Namen nennen, w\u228\'e4hrend Sie dieses Ereignis beschreiben. K\u246\'f6nnen Sie mir ein wenig \u252\'fcber sich erz\u228\'e4hlen? #00:00:14-00#\line B: (In Schriftsprache.) Ja, nat\u252\'fcrlich. Jeden Morgen beginne ich den Tag mit einer Tasse Tee. Ich bin jemand, der viel Wert auf eine ruhige Morgenroutine legt. Es ist f\u252\'fcr mich sehr wichtig, dass der Start in den Tag entspannt und nicht hektisch ist. Oft lese ich auch ein paar Seiten in einem Buch, das ich gerade lese. Danach gehe ich meistens zur Arbeit, entweder ins B\u252\'fcro oder arbeite von zu Hause aus. Mein Job ist sehr abwechslungsreich, und es gef\u228\'e4llt mir, immer neue Herausforderungen zu haben. Am Nachmittag gehe ich oft spazieren oder treffe mich mit Freunden. Ein gutes Gespr\u228\'e4ch oder eine kleine Wanderung in der Natur tut mir immer sehr gut. Am Abend koche ich gerne etwas Leckeres und entspanne mich beim Fernsehen oder h\u246\'f6re Musik. #00:00:51-00#}
+\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052{\loch
+I: Wenn Sie zur\u252\'fcckdenken, k\u246\'f6nnen Sie mir eine Geschichte \u252\'fcber etwas Wichtiges erz\u228\'e4hlen, das in Ihrem Leben passiert ist? Die Geschichte kann aus einer beliebigen Zeit Ihres Lebens stammen, aus Ihrer Kindheit oder auch vor Kurzem. Sie brauchen keine Namen zu nennen, wenn Sie dieses Ereignis beschreiben. #00:04:19-00#\line B: Ich erinnere mich an eine Zeit, als ich mit meiner Familie in einem kleinen Dorf auf einem Berg war. Es war ein Winterwochenende, und wir hatten viel Schnee. An diesem Tag sind wir alle zusammen mit Schlitten den Hang hinuntergefahren. Es war eine sehr lustige Erfahrung, weil wir alle wie Kinder waren, trotz des Alters. Aber was mir wirklich in Erinnerung geblieben ist, war, dass ich mich nach diesem Tag viel n\u228\'e4her mit meiner Familie verbunden f\u252\'fchlte. Es war ein Moment, in dem wir uns alle unterst\u252\'fctzt und gemeinsam gelacht haben, was damals sehr wichtig f\u252\'fcr mich war. Diese Momente mit der Familie sind f\u252\'fcr mich unersetzlich. #00:05:42-00#}
+\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052{\loch
+I: Ich m\u246\'f6chte Sie nun bitten, dass Sie ein wenig \u252\'fcber Ihre Gesundheit sprechen. Sie brauchen keine Namen zu nennen. Glauben Sie, dass Sie eine psychische Krankheit haben? Und wenn ja, worum handelt es sich Ihrer Meinung nach? #00:06:03-00#\line B: In letzter Zeit habe ich mich mehr mit meiner mentalen Gesundheit besch\u228\'e4ftigt. Ich w\u252\'fcrde sagen, dass ich in einer stabilen psychischen Verfassung bin, aber es gibt Momente, in denen ich mich \u252\'fcberfordert f\u252\'fchle. Gerade in stressigen Phasen merke ich, dass es schwieriger f\u252\'fcr mich ist, den Kopf klar zu behalten. Aber ich versuche, mir Hilfe zu suchen und achte sehr darauf, auf mich selbst zu h\u246\'f6ren. Es gibt Phasen, in denen ich das Gef\u252\'fchl habe, dass ich eine kurze Auszeit brauche, um mich wieder zu sortieren. Aber insgesamt denke ich, dass ich psychisch gesund bin, solange ich mir genug Zeit f\u252\'fcr mich nehme. #00:06:48-00#}
+\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052{\loch
+I: Und wurde Ihnen eine Diagnose gestellt? #00:07:03-00#\line B: Nein, bisher nicht. #00:07:04-00#}
+\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052{\loch
+I: Danke. Okay. Ich werde Ihnen jetzt drei Bilder zeigen, und eins nach dem anderen. Jedes Mal, wenn ich das Bild vor Sie lege, m\u246\'f6chte ich Sie bitten, das Bild so vollst\u228\'e4ndig wie m\u246\'f6glich zu beschreiben. Sagen Sie mir, was Sie auf dem Bild sehen und was Ihrer Meinung nach passieren k\u246\'f6nnte. Bitte sprechen Sie, bis ich Stopp sage. (...) Bild Nummer zwei. Bitte sagen Sie, was Sie auf diesem Bild sehen. #00:09:10-00#\line B: (Startet in Schriftsprache.) Auf diesem Bild sieht man eine Gruppe von Personen, die auf einem Markt stehen. Es ist ein lebhafter Ort, mit vielen St\u228\'e4nden und bunten Waren. In der Mitte sieht man eine \u228\'e4ltere Frau, die gerade eine Melone ausw\u228\'e4hlt. Sie tr\u228\'e4gt eine einfache, aber stilvolle Kleidung. Links sieht man einen jungen Mann, der mit einem Verk\u228\'e4ufer spricht, der gerade Tomaten in eine T\u252\'fcte packt. Im Hintergrund sieht man weitere Marktst\u228\'e4nde, die mit Obst und Gem\u252\'fcse voll sind. Der Himmel ist bew\u246\'f6lkt, und es sieht aus, als w\u252\'fcrde es bald regnen. Es scheint ein sch\u246\'f6ner, aber auch sehr besch\u228\'e4ftigter Tag zu sein. #00:10:37-00#}
+\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052{\loch
+I: Danke sch\u246\'f6n. Bild Nummer vier. Was passiert auf diesem Bild? Oder was sehen Sie auf diesem Bild? #00:10:46-00#\line B: Auf diesem Bild sieht man einen Mann und eine Frau, die zusammen auf einer Bank sitzen. Der Mann ist in einem Anzug und schaut auf sein Handy. Die Frau tr\u228\'e4gt ein sommerliches Kleid und schaut nachdenklich in die Ferne. Sie scheint in einer anderen Welt zu sein, w\u228\'e4hrend der Mann abgelenkt ist. Im Hintergrund ist ein Park zu sehen, mit B\u228\'e4umen und einem kleinen See. Die Stimmung wirkt ein bisschen melancholisch, als ob beide Menschen in Gedanken versunken sind. Es scheint, als ob sie ein Gespr\u228\'e4ch f\u252\'fchren, aber jeder ist in seiner eigenen Welt. #00:12:00-00#}
+\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052{\loch
+I: Danke sch\u246\'f6n. Und Bild Nummer 17GF, was sehen Sie auf diesem Bild? #00:12:09-00#\line B: Auf diesem Bild sieht man einen alten Leuchtturm, der auf einem Felsen \u252\'fcber dem Meer thront. Der Himmel ist dramatisch, mit dunklen Wolken und einer Art Sturmstimmung. Das Meer ist unruhig und st\u252\'fcrmisch, und man sieht die Wellen gegen den Felsen schlagen. In der N\u228\'e4he des Leuchtturms ist ein kleiner, alter Kutter zu sehen, der versucht, gegen die Wellen anzukommen. Es wirkt wie eine dramatische Szene, bei der der Leuchtturm als Rettungsanker in dieser st\u252\'fcrmischen See dient. Der Leuchtturm strahlt ein warmes Licht aus, das den Kutter zu f\u252\'fchren scheint. #00:13:23-00#}
+\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052{\loch
+I: Danke. Gut, ich werde Ihnen nun einige Bilder aus einer Geschichte zeigen. Sie k\u246\'f6nnen sich so viel Zeit nehmen, wie Sie brauchen, um die Bilder anzuschauen. Nachdem Sie alle Bilder der Reihe nach angesehen haben, m\u246\'f6chte ich Sie bitten, mir die Geschichten auf den Bildern in Ihren eigenen Worten zu erz\u228\'e4hlen. Das ist die Geschichte. #00:13:47-00#\line B: Ich habe in der Kindheit oft getr\u228\'e4umt, dass ich in einem Wald unterwegs war. #00:15:59-00#}
+\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052{\loch
+I: Im Wald? #00:15:56-00#\line B: Ja, genau. Ich war als Kind oft drau\u223\'dfen in den W\u228\'e4ldern, und in meinen Tr\u228\'e4umen bin ich immer tiefer in den Wald gegangen. Eines Tages kam ich an einen kleinen Bach, der durch den Wald floss. Der Bach war klar und das Wasser funkelte im Sonnenlicht. Ich sa\u223\'df dort und beobachtete die Fische, die durch das Wasser schwammen. Es war sehr ruhig, und ich f\u252\'fchlte mich v\u246\'f6llig friedlich. In diesem Moment hatte ich das Gef\u252\'fchl, dass ich ein Teil der Natur war und mit der Welt um mich herum eins. Es war ein sch\u246\'f6ner, friedlicher Traum, der mir auch als Erwachsener oft in den Sinn kommt. #00:16:44-00#}
+\par \pard\plain \s18\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\sl276\slmult1\nowidctlpar\hyphpar1\sb0\sa140\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052{\loch
+I: Gut. Jetzt haben Sie eine Minute Zeit, um den Text durchzugehen, danach bitte ich Sie, das Blatt wegzulegen und mir die Geschichte in eigenen Worten zu erz\u228\'e4hlen. #00:17:51-00#\line B: Okay. #00:17:52-00#\line (Stille. B liest. #00:17:52-00# - #00:19:13-00#)\line B: (in Schriftsprache.) Die Geschichte handelt von einer kleinen Katze, die an einem sehr hei\u223\'dfen Tag im Schatten eines Baumes schl\u228\'e4ft. Sie tr\u228\'e4umt von einem k\u252\'fchlen Teich, an dem sie trinken kann. Als sie aufwacht, ist der Teich nicht mehr weit, und die Katze folgt einem Schmetterling, der sie zu einem geheimen, versteckten Ort f\u252\'fchrt. Der Teich ist klar, und die Katze kann endlich ihren Durst l\u246\'f6schen. Sie ist sehr zufrieden und kehrt sp\u228\'e4ter zur\u252\'fcck zu ihrem Baum, um sich wieder auszuruhen. #00:20:09-00#\line I: Danke sch\u246\'f6n.}
+\par \pard\plain \s0\rtlch\af8\afs24\alang1081 \ltrch\lang1033\langfe2052\hich\af3\loch\ql\nowidctlpar\hyphpar1\ltrpar\cf0\f3\fs24\lang1033\kerning1\dbch\af7\langfe2052\sl100\slmult0\qc\hyphpar0\fi0\li0\lin0\ri0\rin0\sb238\sa0\loch
+
+\par }

pelican_nlp-0.1.2/examples/PyPI_testing_fluency/config_fluency.yml

@@ -0,0 +1,108 @@
+# Configuration file for fluency task
+# =======================================
+input_file: "text" #or 'audio'
+fluency_task: &fluency_flag true
+#========================================
+
+#general configurations; always adapt
+PATH_TO_PROJECT_FOLDER: "/home/yvespauli/PycharmProjects/pelican_testing"
+language: "german"
+multiple_sessions: &session_flag false
+
+corpus_names: #names of fluency tasks (e.g. "animals", "clothes")
+  - "animals"
+  - "clothes"
+  - "food"
+
+#Specify linguistic metrics to extract
+metric_to_extract: 'embeddings' #Possible options: 'embeddings', 'logits'
+output_document_information: true
+#====================================================================
+
+#Optional configurations; Change with preference. However, default settings recommended
+cleaning_options:
+  general_cleaning: true
+  #Options for fluency tasks
+  fluency_task: *fluency_flag
+  word_splitter: ';' #default split with ',' add different word_splitter if necessary
+  remove_hyphens: true
+  remove_duplicates: false
+  lowercase: false
+  #Optional cleaning
+  remove_brackets_and_bracketcontent: false #default 'false'
+  remove_timestamps: false #default 'false'
+  timestamp_pattern_example: null #e.g. "#00:00:23-00#"
+  remove_punctuation: false #Careful!: If set to true word_splitter might be removed
+
+options_embeddings:
+  tokenization_method: "whitespace" #or "model"
+  model_name: "fastText" #e.g. "fastText", "xlm-roberta-base"
+  pytorch_based_model: false
+  method: "model_instance"
+  max_length: null
+  clean_embedding_tokens: true
+
+  semantic-similarity: true
+  distance-from-randomness: false
+
+options_dis_from_randomness:
+  window_size: 8
+  min_len: null
+  bootstrap: 10000
+  shuffle_mode: 'include0_includeN'
+  parallel_computing: false #not yet set up
+
+options_semantic-similarity:
+  window_sizes: #'all' or window size as integer
+    - 2
+    - 8
+#==================================================================
+
+#Extra configurations;
+task_name: "fluency"
+create_aggregation_of_results: true
+
+pipeline_options:
+  quality_check: false
+  clean_text: true
+  tokenize_text: false
+  normalize_text: false
+
+general_cleaning_options:
+  strip_whitespace: true
+  merge_multiple_whitespaces: true
+  remove_whitespace_before_punctuation: true
+  merge_newline_characters: true
+  remove_backslashes: true
+
+has_multiple_sections: false
+has_section_titles: false
+section_identification: null
+number_of_sections: 1
+number_of_speakers: 1
+discourse: false
+
+document_information_output:
+  parameters:
+    - subject_ID
+    - fluency_word_count
+    - fluency_duplicate_count
+
+#================================================================
+
+#Detail configurations; Changes optional, mostly used for quality checking / error handling
+recompute_everything: true
+number_of_subjects: null
+
+# Filename components configuration
+filename_components:
+  subject: true    # mandatory
+  session: *session_flag
+  task: true       # mandatory
+  task_addition: false
+  corpus: true    # typically true for fluency tasks (e.g., "animals", "clothes")
+  metric: true
+  additional_tags: []
+
+
+

pelican_nlp-0.1.2/examples/PyPI_testing_fluency/subjects/sub-01/fluency/sub-01_fluency_sem_animals.txt

@@ -0,0 +1 @@
+Ameise; Affe; Bär; Chamäleon; Delphin; Dachs; Drossel; Elch; Esel; Eichhörnchen; Einhorn; Flunder; Giraffe; Gans; Ente; Hahn; Jaguar; Igel; Kanguru; Kamel; Lachs; Luchs 

pelican_nlp-0.1.2/examples/PyPI_testing_fluency/subjects/sub-01/fluency/sub-01_fluency_sem_clothes.txt

@@ -0,0 +1 @@
+Socke; Wanderschuh; Sneaker; Jeans; Rock; Jupe; Strumpfhose; Lange Unterhose; Normale Unterhose; String; Tanga; Shirt; Unterhemd; Bluse; Jackett; Blazer; Pullover; Hoodie; Jacke; Winterjacke; Skihose; Hut; Cap; Leggings 

pelican_nlp-0.1.2/examples/PyPI_testing_fluency/subjects/sub-01/fluency/sub-01_fluency_sem_food.txt

@@ -0,0 +1 @@
+Apfel; Birne; Mandarine; Clementine; Ananas; Granatapfel; Brot; Fisch; Fleisch; Milch; Müsli; Haferflocken; Nüsse; Spaghetti; Tomatensauce; Tomaten; Broccoli; Blumenkohl; Lauch; Zucchetti; Pepperoni; Zucchini; Tofu; Fleisch; Fleischersatz; Pizza; Mozzarella; Käse; Parmesan; Nutella; Butter

pelican_nlp-0.1.2/examples/PyPI_testing_fluency/subjects/sub-02/fluency/sub-02_fluency_sem_animals.txt

@@ -0,0 +1 @@
+Hund; Katze; Maus; Bär; Krokodil; Pferd; Hase; Jaguar; Tiger; Löwe; Huhn; Känguru; Puma; Vogel; Eichhörnchen; Pferd; Eisbär; Biene; Fliege; Käfer; Spinne; Mücke; Krähe

pelican_nlp-0.1.2/examples/PyPI_testing_fluency/subjects/sub-02/fluency/sub-02_fluency_sem_clothes.txt

@@ -0,0 +1 @@
+Turnschuhe; Sandalen; Stiefel; Ballerinas; Flipflops; Hose; Leggings; Shorts; Bermuda; Unterhose; Shirt; Sweatshirt; Pulli; Halskragenpullover; Hemd; Bluse; Jacke; Blazer; Lederjacke; Jeansjacke; Mantel; Hut; Stuck; Ohrring; Mütze; Schal; Handschuhe; Body; BH; Unterleib; Strumpfhosen; Socken 

pelican_nlp-0.1.2/examples/PyPI_testing_fluency/subjects/sub-02/fluency/sub-02_fluency_sem_food.txt

@@ -0,0 +1 @@
+Salat;  Gurke; Tomate; Zwiebel; Frühlingszwiebel; Radieschen; Paprika; Zucchini; Aubergine; Pilze; Sellerie; Banane; Apfel; Erdbeere; Kirsche; Trauben; Himbeeren; Heidelbeeren; Blaubeeren; Erdbeeren;  Ananas; Zitrone; Avocado; Kaki; Milch; Joghurt; Käse; Hüttenkäse; Eier; Fisch; Forelle; Lachs; Branzino; Kerne; Pinienkerne

pelican_nlp-0.1.2/examples/PyPI_testing_image-descriptions/config_image-descriptions.yml

@@ -0,0 +1,136 @@
+# Master Configuration File
+# ========================
+
+# Basic Settings
+# -------------
+input_file: "text"  # Options: 'text' or 'audio'
+PATH_TO_PROJECT_FOLDER: "/home/yvespauli/PycharmProjects/PyPI_testing_image-descriptions"
+language: "german"  # Options: 'german', 'english'
+recompute_everything: true  # If false, reuses previously computed results
+
+# Task Configuration
+# -----------------
+task_name: "image-description"  # Options: 'fluency', 'interview'
+fluency_task: &fluency_flag false  # Flag for fluency-specific settings
+discourse: &discourse_flag false  # Flag for discourse-specific settings
+corpus_names:  # List of task corpora
+  - "placebo"
+  - "drug"
+
+# Session and Subject Settings
+# --------------------------
+multiple_sessions: true
+number_of_subjects: null  # If null, auto-detected
+number_of_speakers: 1
+subject_speakertag: null  # Speaker tag for subject (e.g., "B")
+
+# Document Structure
+# ----------------
+has_multiple_sections: true
+has_section_titles: true
+section_identification: "Bild:"  # e.g., "Section:"
+number_of_sections: null  # If null, auto-detected
+
+# Processing Pipeline
+# -----------------
+pipeline_options:
+  quality_check: false
+  clean_text: true
+  tokenize_text: false
+  normalize_text: false
+
+# Metric Extraction
+# ---------------
+metric_to_extract: "embeddings"  # Options: 'embeddings', 'logits'
+extract_logits: null
+extract_embeddings: true
+
+# Cleaning Options
+# --------------
+cleaning_options:
+  general_cleaning: true
+  remove_punctuation: false
+  lowercase: false
+  remove_brackets_and_bracketcontent: true
+  remove_timestamps: false
+  timestamp_pattern_example: null  # e.g., "#00:00:23-00#"
+  # Fluency-specific options
+  fluency_task: *fluency_flag
+  word_splitter: ';'
+  remove_hyphens: false
+  remove_duplicates: false
+
+general_cleaning_options:
+  strip_whitespace: true
+  merge_multiple_whitespaces: true
+  remove_whitespace_before_punctuation: true
+  merge_newline_characters: true
+  remove_backslashes: true
+
+# Embedding Options
+# ---------------
+options_embeddings:
+  tokenization_method: "model_roberta" #or "whitespace", "model"
+  max_length: 512 #max sequence length
+  model_name: "xlm-roberta-base" #e.g. "fastText", "xlm-roberta-base"
+  pytorch_based_model: true
+  method: "model_instance"
+  max_length: 512
+  clean_embedding_tokens: true
+  remove_punctuation: false
+  lowercase: false
+  keep_speakertags: false
+  semantic-similarity: false
+  window_size: null
+  clean_tokens: true
+  distance-from-randomness: false
+  output_options:
+    exclude_special_tokens: true
+    remove_'_'_character: true
+    remove_speaker_labels: true
+    remove_punctuation_and_symbols: true
+    remove_brackets_and_content: true
+
+# Logits Options
+# -------------
+options_logits:
+  chunk_size: 128
+  overlap_size: 64
+  tokenization_method: "model"
+  model_name: "DiscoResearch/Llama3-German-8B-32k"
+  remove_punctuation: true
+  lowercase: true
+  keep_speakertags: true
+
+# Analysis Options
+# --------------
+options_semantic-similarity:
+  window_sizes:  # 'all' or window size as integer
+    - 2
+    - 8
+
+options_dis_from_randomness:
+  window_size: 8
+  min_len: null
+  bootstrap: 10000
+  shuffle_mode: 'include0_includeN'
+  parallel_computing: false
+
+# Normalization Options
+# -------------------
+normalization_options:
+  method: "lemmatization"  # Options: 'lemmatization', 'stemming'
+
+# Filename Configuration
+# --------------------
+filename_components:
+  subject: true    # mandatory
+  session: false
+  task: true       # mandatory
+  task_addition: false
+  corpus: true
+  metric: true
+  additional_tags: []
+  
+create_aggregation_of_results: false
+output_document_information: false