@dzhechkov/skills-academic 0.1.0

package/answer-assessor/SKILL.md

@@ -0,0 +1,121 @@
+---
+name: "answer-assessor"
+description: "Assesses quality of student's answers to committee questions from live transcript — completeness, depth, and alignment with reviewer remarks."
+trust_tier: 2
+trust_tier_label: "Validated"
+validation:
+  schema_path: schemas/output.json
+  validator_path: scripts/validate-config.json
+---
+
+# Оценка ответов студента на вопросы (по транскрипту)
+
+Skill для оценки ответов студента на вопросы членов ГЭК на основе транскрипта. Содержит только критерии оценки ответов. Персональные данные обрабатываются только в runtime.
+
+## Когда использовать
+- Анализ качества ответов на вопросы комиссии
+- Оценка ответов на замечания руководителя и рецензента (заключительное слово)
+- Формирование итоговой оценки по третьей составляющей (ответы)
+
+## Когда НЕ использовать
+- Для генерации вопросов — используйте question-generator
+- Для оценки доклада — используйте defense-evaluator
+
+## Протокол
+
+### Шаг 1: Идентифицировать вопросы и ответы
+Из транскрипта выделить:
+- Кто задал вопрос (если указано)
+- Формулировку вопроса
+- Ответ студента
+- Было ли заключительное слово
+
+### Шаг 2: Оценить каждый ответ
+
+| Критерий | Полный ответ (3) | Частичный (2) | Нет ответа (1) |
+|----------|:---:|:---:|:---:|
+| Понимание вопроса | Отвечает точно по сути | Отвечает вокруг, но не в точку | Не понял вопрос |
+| Глубина | Аргументы, примеры, данные | Общие фразы | "Не рассматривал" |
+| Связь с ВКР | Ссылается на конкретные разделы | Говорит в общем | Никак не связывает |
+| Уверенность | Отвечает без пауз, развёрнуто | Колеблется, переспрашивает | Теряется, молчит |
+| Самокритичность | Признаёт ограничения честно | Отмахивается | Отрицает очевидное |
+
+### Шаг 3: Оценить заключительное слово
+По регламенту ГЭК, в заключительном слове студент ДОЛЖЕН ответить на замечания руководителя и рецензента.
+
+| Элемент | Что проверить |
+|---------|---------------|
+| Ответ на замечания руководителя | Прокомментировал ли каждое замечание? |
+| Ответ на замечания рецензента | Прокомментировал ли каждое замечание? |
+| Конструктивность | Принял замечания или спорит без аргументов? |
+| Перспективы | Упомянул ли планы по развитию работы? |
+
+### Шаг 3.5: Сопоставить с подготовленными вопросами
+
+Если до защиты были подготовлены вопросы (question-generator):
+- Какие из подготовленных вопросов были заданы?
+- Совпали ли ответы с ожидаемыми ключевыми словами?
+- Какие вопросы не были заданы? (записать для протокола)
+
+### Шаг 4: Сформировать справку по ответам
+
+Шаблон:
+```
+ОЦЕНКА ОТВЕТОВ НА ВОПРОСЫ
+═══════════════════════════════
+Количество вопросов: [N]
+Длительность Q&A: [мин] из 10-15
+
+ОТВЕТЫ:
+№ | Вопрос (кратко)          | Полнота | Глубина | Связь с ВКР
+1 | ________________________ | ⬜3 ⬜2 ⬜1 | ⬜3 ⬜2 ⬜1 | ⬜3 ⬜2 ⬜1
+2 | ________________________ | ⬜3 ⬜2 ⬜1 | ⬜3 ⬜2 ⬜1 | ⬜3 ⬜2 ⬜1
+...
+
+ЗАКЛЮЧИТЕЛЬНОЕ СЛОВО:
+  [✅/❌] Ответ на замечания руководителя
+  [✅/❌] Ответ на замечания рецензента
+  [✅/❌] Конструктивный подход
+  [✅/❌] Упомянуты перспективы
+
+СРЕДНИЙ БАЛЛ ОТВЕТОВ: [X.X / 3.0]
+ОБЩЕЕ ВПЕЧАТЛЕНИЕ: [уверенно / неуверенно / не владеет]
+
+ВЛИЯНИЕ НА ИТОГОВУЮ ОЦЕНКУ:
+  [повышает / не влияет / понижает]
+═══════════════════════════════
+```
+
+## Рекомендуемый workflow
+```
+1-3. Подготовка (document-checker → dissertation-review → question-generator)
+4. defense-evaluator → оценка доклада
+5. answer-assessor → оценка ответов (ЭТОТ SKILL)
+6. Итоговая оценка = текст ВКР + доклад + ответы (все три равноценны)
+```
+
+## Антипаттерны
+| Антипаттерн | Правильный подход |
+|-------------|-------------------|
+| Оценивать ответы отдельно от контекста ВКР | Учитывать, что есть в работе |
+| Снижать за неуверенный тон | Оценивать содержание, не форму |
+| Игнорировать заключительное слово | Это обязательный элемент по регламенту |
+| Не сопоставлять ответы с подготовленными вопросами | Проверить, совпали ли ожидания |
+
+## Самопроверка
+- [ ] Все вопросы и ответы идентифицированы в транскрипте?
+- [ ] Каждый ответ оценён по 3 критериям?
+- [ ] Заключительное слово оценено отдельно?
+- [ ] Ответы на замечания руководителя проверены?
+- [ ] Ответы на замечания рецензента проверены?
+- [ ] Общее влияние на оценку определено?
+
+## Примеры
+**В рамках задачи:**
+- "Оцени ответы студента из транскрипта Q&A"
+- "Прокомментировал ли студент замечания рецензента?"
+- "Как ответы повлияли на общее впечатление?"
+
+**Вне задачи:**
+- "Подготовь вопросы" — question-generator
+- "Оцени доклад" — defense-evaluator

package/answer-assessor/evals/answer-assessor.yaml

@@ -0,0 +1,75 @@
+# answer-assessor evaluation
+# Run: aqe eval answer-assessor
+
+test_cases:
+  - name: "basic invocation"
+    input: "Оцени ответы студента на вопросы комиссии"
+    expected:
+      status: success
+      summary_contains: "answer-assessor"
+
+  - name: "confident answers - full scores"
+    input: "Транскрипт Q&A: Вопрос 1 (председатель): Почему выбрана именно эта архитектура? Ответ: Мы сравнили три подхода — микросервисы, монолит и serverless. В главе 3 представлены результаты бенчмарков, микросервисы показали на 40% лучшую масштабируемость. Вопрос 2: Как валидировали модель? Ответ: Использовали кросс-валидацию на 5 фолдах, F1-мера составила 0.87, что описано в разделе 4.2."
+    expected:
+      status: success
+      question_count: 2
+      answers:
+        - completeness: 3
+          depth: 3
+          thesis_link: 3
+      overall_impression: confident
+      grade_impact: raises
+
+  - name: "weak answers - no substance"
+    input: "Транскрипт Q&A: Вопрос: Какие ограничения у вашего подхода? Ответ: Ну... я это не рассматривал в работе. Вопрос: Как соотносятся ваши результаты с аналогами? Ответ: В целом, наши результаты лучше. Вопрос: Можете конкретизировать? Ответ: [пауза] Точные цифры не помню."
+    expected:
+      status: success
+      question_count: 3
+      overall_impression: does_not_command
+      grade_impact: lowers
+
+  - name: "closing remarks - all addressed"
+    input: "Заключительное слово: Хочу прокомментировать замечания. Руководитель отметил недостаточный объём эксперимента — согласен, в будущем планирую расширить выборку до 1000 респондентов. Рецензент указал на отсутствие сравнения с методом X — это справедливо, я изучил метод X после завершения работы и вижу перспективы интеграции. Планирую продолжить исследование в аспирантуре."
+    expected:
+      status: success
+      closing_remarks:
+        present: true
+        supervisor_remarks_addressed: true
+        reviewer_remarks_addressed: true
+        constructive_approach: true
+        future_plans_mentioned: true
+
+  - name: "closing remarks - missing reviewer response"
+    input: "Заключительное слово студента: Спасибо за вопросы. По замечанию руководителя о формулировках — я их исправил в финальной версии. На этом всё."
+    expected:
+      status: success
+      closing_remarks:
+        present: true
+        supervisor_remarks_addressed: true
+        reviewer_remarks_addressed: false
+        future_plans_mentioned: false
+
+  - name: "mixed quality answers"
+    input: "Транскрипт: Вопрос 1: Обоснуйте выбор метрики. Ответ: Мы выбрали RMSE, потому что в разделе 2.3 показано, что для задач регрессии это стандартная метрика, значение составило 0.12. Вопрос 2: Почему не использовали deep learning? Ответ: Ну, в общем, данных было мало... наверное можно было попробовать. Вопрос 3: Какова практическая применимость? Ответ: Система уже внедрена в компании X, об этом есть акт внедрения в приложении Б."
+    expected:
+      status: success
+      question_count: 3
+      has_fields:
+        - answers
+        - average_score
+        - overall_impression
+      overall_impression: uncertain
+      grade_impact: neutral
+
+  - name: "full report generation"
+    input: "Сформируй полную справку по ответам студента на вопросы комиссии и заключительному слову из транскрипта"
+    expected:
+      status: success
+      has_fields:
+        - question_count
+        - answers
+        - closing_remarks
+        - average_score
+        - overall_impression
+        - grade_impact
+        - summary

package/answer-assessor/schemas/output.json

@@ -0,0 +1,111 @@
+{
+  "$schema": "https://json-schema.org/draft/2020-12/schema",
+  "title": "answer-assessor output",
+  "description": "Structured output from the answer-assessor skill",
+  "type": "object",
+  "required": ["status", "question_count", "answers", "overall_impression", "grade_impact"],
+  "properties": {
+    "status": {
+      "type": "string",
+      "enum": ["success", "error", "skipped"]
+    },
+    "question_count": {
+      "type": "integer",
+      "description": "Total number of questions asked by the committee"
+    },
+    "qa_duration_minutes": {
+      "type": "number",
+      "description": "Estimated duration of the Q&A session in minutes"
+    },
+    "answers": {
+      "type": "array",
+      "items": {
+        "type": "object",
+        "required": ["question_summary", "completeness", "depth", "thesis_link"],
+        "properties": {
+          "question_summary": {
+            "type": "string",
+            "description": "Brief summary of the question"
+          },
+          "asked_by": {
+            "type": "string",
+            "description": "Who asked the question (if identifiable from transcript)"
+          },
+          "completeness": {
+            "type": "integer",
+            "minimum": 1,
+            "maximum": 3,
+            "description": "Completeness score: 3=full, 2=partial, 1=no answer"
+          },
+          "depth": {
+            "type": "integer",
+            "minimum": 1,
+            "maximum": 3,
+            "description": "Depth score: 3=arguments+data, 2=general, 1=not considered"
+          },
+          "thesis_link": {
+            "type": "integer",
+            "minimum": 1,
+            "maximum": 3,
+            "description": "Link to thesis: 3=specific references, 2=general, 1=none"
+          },
+          "confidence": {
+            "type": "string",
+            "enum": ["confident", "hesitant", "lost"],
+            "description": "Student's confidence level in the answer"
+          },
+          "remarks": {
+            "type": "string",
+            "description": "Additional observations about this answer"
+          }
+        }
+      }
+    },
+    "closing_remarks": {
+      "type": "object",
+      "properties": {
+        "present": {
+          "type": "boolean",
+          "description": "Whether the student gave a closing statement"
+        },
+        "supervisor_remarks_addressed": {
+          "type": "boolean",
+          "description": "Whether supervisor's remarks were addressed"
+        },
+        "reviewer_remarks_addressed": {
+          "type": "boolean",
+          "description": "Whether external reviewer's remarks were addressed"
+        },
+        "constructive_approach": {
+          "type": "boolean",
+          "description": "Whether the student was constructive about remarks"
+        },
+        "future_plans_mentioned": {
+          "type": "boolean",
+          "description": "Whether the student mentioned future development plans"
+        }
+      },
+      "description": "Assessment of the student's closing remarks / final word"
+    },
+    "average_score": {
+      "type": "number",
+      "minimum": 1.0,
+      "maximum": 3.0,
+      "description": "Average score across all answers (scale 1-3)"
+    },
+    "overall_impression": {
+      "type": "string",
+      "enum": ["confident", "uncertain", "does_not_command"],
+      "description": "Overall impression of the student's answers"
+    },
+    "grade_impact": {
+      "type": "string",
+      "enum": ["raises", "neutral", "lowers"],
+      "description": "Impact of Q&A performance on the final grade"
+    },
+    "summary": {
+      "type": "string",
+      "description": "Free-text summary of the Q&A assessment"
+    }
+  }
+}

package/answer-assessor/scripts/validate-config.json

@@ -0,0 +1,34 @@
+{
+  "$schema": "https://json-schema.org/draft/2020-12/schema",
+  "title": "answer-assessor config validator",
+  "description": "Validates configuration inputs for the answer-assessor skill",
+  "type": "object",
+  "properties": {
+    "transcript_path": {
+      "type": "string",
+      "description": "Path to the Q&A transcript file"
+    },
+    "thesis_path": {
+      "type": "string",
+      "description": "Path to the thesis document for cross-referencing answers"
+    },
+    "supervisor_review_path": {
+      "type": "string",
+      "description": "Path to the supervisor review (to check if remarks were addressed)"
+    },
+    "external_review_path": {
+      "type": "string",
+      "description": "Path to the external reviewer report (to check if remarks were addressed)"
+    },
+    "prepared_questions_path": {
+      "type": "string",
+      "description": "Path to previously generated questions (from question-generator) for comparison"
+    },
+    "realtime": {
+      "type": "boolean",
+      "default": false,
+      "description": "Whether the transcript is being updated in real-time"
+    }
+  },
+  "required": ["transcript_path"]
+}

package/defense-evaluator/SKILL.md

@@ -0,0 +1,136 @@
+---
+name: "defense-evaluator"
+description: "Evaluates thesis defense presentation from live transcript — structure, topic coverage, confidence, alignment with thesis."
+trust_tier: 2
+trust_tier_label: "Validated"
+validation:
+  schema_path: schemas/output.json
+  validator_path: scripts/validate-config.json
+---
+
+# Оценка доклада студента (по транскрипту)
+
+Skill для оценки устного доклада студента на защите ВКР на основе транскрипта речи. Анализирует транскрипт в реальном времени или после завершения доклада. Содержит только критерии оценки доклада. Персональные данные обрабатываются только в runtime.
+
+## Когда использовать
+- Анализ транскрипта доклада студента (файл transcript.txt)
+- Оценка качества устной презентации по критериям ГЭК
+- Сопоставление содержания доклада с текстом ВКР
+- Формирование дополнительных вопросов на основе доклада
+
+## Когда НЕ использовать
+- Для анализа текста ВКР — используйте dissertation-review
+- Для генерации вопросов до защиты — используйте question-generator
+
+## Протокол
+
+### Шаг 1: Получить транскрипт
+Прочитать файл транскрипта (transcript.txt или указанный файл). Транскрипт может обновляться в реальном времени.
+
+### Шаг 2: Оценить структуру доклада
+Проверить наличие обязательных элементов:
+
+| Элемент | Что искать в транскрипте | Сигналы проблем |
+|---------|------------------------|-----------------|
+| Представление | ФИО, тема работы | Не назвал тему или назвал неточно |
+| Актуальность | Почему тема важна, контекст | Перескочил сразу к результатам |
+| Цель и задачи | Чётко сформулированы | Размытые формулировки |
+| Методология | Какие методы использовались | Не упомянул методы вообще |
+| Результаты | Конкретные выводы, цифры, графики | Общие фразы без конкретики |
+| Заключение | Итоги, практическая значимость | Оборвал доклад без выводов |
+
+### Шаг 3: Оценить раскрытие темы
+- Соответствует ли содержание доклада заявленной теме?
+- Все ли ключевые результаты ВКР озвучены?
+- Нет ли существенных пропусков?
+- Добавлены ли результаты, которых нет в ВКР? (это и плюс, и минус)
+
+### Шаг 4: Оценить качество подачи (по транскрипту)
+
+| Критерий | Хорошо | Плохо |
+|----------|--------|-------|
+| Логика изложения | Последовательный рассказ, связки между разделами | Перескакивание, повторы |
+| Владение материалом | Свободная речь, развёрнутые объяснения | Чтение текста, заученные фразы |
+| Терминология | Корректное использование терминов | Путает или избегает терминов |
+| Конкретика | Цифры, факты, примеры | "В целом", "примерно", "около" |
+| Тайминг | Уложился в 20 минут | Значительно меньше или больше |
+
+### Шаг 5: Сопоставить с материалами ВКР
+- Есть ли противоречия между докладом и текстом ВКР?
+- Упомянуты ли замечания руководителя/рецензента в докладе?
+- Соответствуют ли озвученные цифры данным в работе?
+
+### Шаг 5.5: Для командных проектов
+
+Если ВКР выполнена в команде, в докладе обратить внимание:
+- Разделяет ли студент "мы сделали" и "я сделал"?
+- Упоминает ли свой личный вклад отдельно?
+- Корректно ли ссылается на работы коллег?
+
+### Шаг 6: Сформировать справку по докладу
+
+Шаблон:
+```
+ОЦЕНКА ДОКЛАДА
+═══════════════════════════════
+Длительность: [мин] из 20
+
+СТРУКТУРА ДОКЛАДА:
+  [✅/❌] Представление (ФИО, тема)
+  [✅/❌] Актуальность
+  [✅/❌] Цель и задачи
+  [✅/❌] Методология
+  [✅/❌] Результаты
+  [✅/❌] Заключение
+
+КАЧЕСТВО ПОДАЧИ:
+  Логика: [высокая / средняя / низкая]
+  Владение материалом: [свободное / частичное / чтение]
+  Конкретика: [цифры и факты / общие фразы]
+
+СОПОСТАВЛЕНИЕ С ВКР:
+  Противоречия: [есть / нет]
+  Пропущенные результаты: [список]
+
+ДОПОЛНИТЕЛЬНЫЕ ВОПРОСЫ (из доклада):
+1. [...]
+2. [...]
+
+ОБЩЕЕ ВПЕЧАТЛЕНИЕ: [сильный / средний / слабый]
+═══════════════════════════════
+```
+
+## Рекомендуемый workflow
+```
+1. document-checker → комплектность
+2. dissertation-review → анализ ВКР
+3. question-generator → вопросы до защиты
+4. defense-evaluator → оценка доклада (ЭТОТ SKILL)
+5. answer-assessor → оценка ответов
+```
+
+## Антипаттерны
+| Антипаттерн | Правильный подход |
+|-------------|-------------------|
+| Оценивать только по транскрипту, игнорируя ВКР | Сопоставлять доклад с текстом работы |
+| Придираться к оговоркам в речи | Транскрипт не передаёт интонацию, оценивать содержание |
+| Не учитывать тайминг | Очень короткий доклад (<10 мин) — сигнал поверхностности |
+| Формировать оценку до завершения доклада | Дождаться полного транскрипта |
+
+## Самопроверка
+- [ ] Транскрипт прочитан полностью?
+- [ ] Все 6 элементов структуры проверены?
+- [ ] Доклад сопоставлен с текстом ВКР?
+- [ ] Выявлены ли противоречия?
+- [ ] Сформулированы ли дополнительные вопросы из доклада?
+- [ ] Общее впечатление обосновано?
+
+## Примеры
+**В рамках задачи:**
+- "Проанализируй транскрипт доклада из файла transcript.txt"
+- "Сопоставь доклад с ВКР — есть ли противоречия?"
+- "Какие дополнительные вопросы возникли из доклада?"
+
+**Вне задачи:**
+- "Оцени текст ВКР" — используй dissertation-review
+- "Подготовь вопросы заранее" — используй question-generator

package/defense-evaluator/evals/defense-evaluator.yaml

@@ -0,0 +1,77 @@
+# defense-evaluator evaluation
+# Run: aqe eval defense-evaluator
+
+test_cases:
+  - name: "basic invocation"
+    input: "Оцени доклад студента из транскрипта"
+    expected:
+      status: success
+      summary_contains: "defense-evaluator"
+
+  - name: "strong presentation - all elements present"
+    input: "Транскрипт: студент представился, назвал тему, обосновал актуальность, чётко сформулировал цель и 4 задачи, описал методологию (анализ, эксперимент, моделирование), представил конкретные результаты с цифрами и графиками, подвёл итоги и указал практическую значимость. Длительность 18 минут."
+    expected:
+      status: success
+      structure:
+        introduction: true
+        relevance: true
+        goals_and_tasks: true
+        methodology: true
+        results: true
+        conclusion: true
+      delivery_quality:
+        logic: high
+        specificity: data_and_facts
+      overall_impression: strong
+
+  - name: "weak presentation - missing structure elements"
+    input: "Транскрипт: студент сразу перешёл к результатам, не назвал тему, не объяснил актуальность, не упомянул методологию. Говорил общими фразами без цифр. Доклад занял 8 минут."
+    expected:
+      status: success
+      structure:
+        introduction: false
+        relevance: false
+        methodology: false
+      delivery_quality:
+        specificity: general_phrases
+      overall_impression: weak
+
+  - name: "thesis alignment - contradictions detected"
+    input: "Сопоставь доклад с ВКР. В докладе студент заявил рост показателя на 45%, а в ВКР указано 23%. Также в работе 5 задач, а в докладе упомянуты только 3."
+    expected:
+      status: success
+      thesis_alignment:
+        contradictions_found: true
+      has_fields:
+        - thesis_alignment
+        - additional_questions
+
+  - name: "question generation from presentation"
+    input: "Проанализируй транскрипт доклада и сформулируй дополнительные вопросы. Студент упомянул нейросетевую модель, но не назвал архитектуру и не привёл метрики качества."
+    expected:
+      status: success
+      has_fields:
+        - additional_questions
+      min_additional_questions: 1
+
+  - name: "partial delivery quality"
+    input: "Транскрипт: студент представил все разделы, но часто переспрашивал, путал термины, несколько раз повторялся. Перескакивал между введением и результатами. Уложился в 20 минут."
+    expected:
+      status: success
+      delivery_quality:
+        logic: low
+        terminology: inconsistent
+        material_command: partial
+      overall_impression: average
+
+  - name: "full report generation"
+    input: "Сформируй полную справку по докладу студента из файла transcript.txt с сопоставлением с ВКР"
+    expected:
+      status: success
+      has_fields:
+        - structure
+        - delivery_quality
+        - thesis_alignment
+        - additional_questions
+        - overall_impression
+        - summary