@seniorsistemas/exclusion-process-component 0.0.1-40efacd8-8a6c-4d38-8102-8c977c14410a → 0.6.0-44030ff3-2eeb-49f7-8927-0920cc01a805

package/senior-ci/CONTRIBUTING.md

@@ -0,0 +1,31 @@
+# GUIA DE CONTRIBUIÇÃO PARA OS SCRIPTS DO SENIOR CI
+
+O projeto está em migração para python, logo novas funcionalidades devem estar escritas em python, podendo já utilizar os padrões já existentes.
+
+## Configuração de ambiente dev
+
+1.  Instale e configure o [Docker](https://www.docker.com/get-started) em seu sistema operacional;
+2.  Instale o [VS Code](https://code.visualstudio.com) ou [VS Code Insiders](https://code.visualstudio.com/insiders);
+3.  Instale as extensões do VS Code: 
+    *   [Dev Containers](vscode:extension/ms-vscode-remote.remote-containers);
+    *   [SonarLint](vscode:extension/SonarSource.sonarlint-vscode);
+4.  [Configure a conexão](https://marketplace.visualstudio.com/items?itemName=SonarSource.sonarlint-vscode#connected-mode) com o SonarQube da Senior (https://sonar.senior.com.br);
+5.  Abra o projeto e aparecerá uma mensagem com o botão **Reopen in container**, aperte-o; <br/>
+    Você também pode executar o comando **Remote-Containers: Reopen in container** via F1;
+6.  Basta aguardar o ambiente ser inicializado e configurado. :blue_heart:
+
+## Processo de Merge Request
+
+Para realizar melhorias ou ajustes nos scripts utilizados na integração contínua dos produtos é necessário seguir os seguintes passos:
+
+ - Criar um branch no projeto Senior CI a partir da `develop`, no padrão de nomenclatura Senior (e.g. `feature/jira-1234`).
+ - Realizar as implementações necessárias para o sua melhoria no branch recém criado.
+ - Testar a melhoria em seu projeto que necessita da alteração. (Informações de como testar logo a seguir)
+ - Abrir uma issue no Jira para o time DevOps (projeto **DEVOPS** no Jira) solicitando a revisão do Merge Request e a liberação de uma nova versão oficial do Senior CI. Na descrição da issue **deve ser informado o motivo da alteração**, para que possamos entender o contexto (lembrando sempre que deve ser uma alteração que traga melhorias para **todos os outros times de desenvolvimento** e não só da sua equipe). 
+ - Abrir um Merge Request no Senior CI associado à tarefa no Jira, esta tarefa serve como alerta para a equipe para analisar a alteração e realizar o aceite do merge e a liberação de uma nova versão do Senior CI.
+
+## Como testar as alterações no seu projeto?
+
+Para testar as alterações em um projeto isolado sem impactar nos demais projetos basta adicionar as variáveis `SCI_VERSION_TAG_BACKEND` e `SCI_VERSION_TAG_FRONTEND` nas configurações do seu **projeto** no  GitLab (`Settings > CI / CD > Variables`), informando como valor das variáveis o nome do branch criado no repositório Senior CI com as suas alterações. Desse modo o CI irá utilizar os scripts do branch com a sua implementação na execução de um novo Job do seu projeto.
+
+> Ao finalizar as alterações e ser realizado o aceite do Merge Request é importante que as variáveis `SCI_VERSION_TAG_BACKEND` e `SCI_VERSION_TAG_FRONTEND` sejam removidas das configurações do **projeto**. Quando o Merge Request for aceito o branch da implementação será excluído e caso as variáveis não tenham sido removidas ocorrerão erros em **todos os jobs do CI** executados no projeto em questão.

package/senior-ci/README.md

@@ -0,0 +1,26 @@
+# Senior Ci
+
+Serviço Integração Continua para as técnologias G7.
+
+## Visão geral
+
+Este repositório é responsável pelos processos da Integração Continua. O projeto trabalha com os seguintes padrões:
+
+- Validate Changelog (Scripts)
+- Teams Hook (Notifications)
+- Release Candidate (GitFlow)
+- Docker
+- JAVA (Openjdk 11)
+  - SDL
+  - Bibliotecas
+- NPM (Node 10)
+  - APP
+  - Bibliotecas
+
+## Guia de contribuição
+
+O [guia de contribuição](CONTRIBUTING.md) é responsável por documentar os procedimentos de manutenção e publicação deste componente.
+
+## Documentação de uso
+
+As documentações de uso estão descritas na [Wiki](https://git.senior.com.br/engenharia/senior-ci/wikis/home).

package/senior-ci/ci/ci.sh

@@ -0,0 +1,74 @@
+#!/bin/bash
+
+set -e # Exit at first error
+
+# Import release helpers
+. senior-ci/common/release-helpers.sh
+
+# Import notification helpers
+. senior-ci/common/notification-helpers.sh
+
+# Import Senior CI Extensions
+. senior-ci/common/senior-ci-extensions-helpers.sh
+
+
+update_ci_vars() {
+    if [ -z "$CQAT_URL" -o -z "$UPDATE_VARS" ]; then
+        echo 'As variáveis SCI_VERSION_TAG_FRONTEND, SCI_VERSION_TAG_BACKEND não serão atualizadas nos grupos, pois as variáveis CQAT_URL e UPDATE_VARS não estão definidas'
+    else
+        echo 'Atualizando variáveis SCI_VERSION_TAG_FRONTEND, SCI_VERSION_TAG_BACKEND em todos os grupos'
+        echo "SCI_VERSION_TAG_FRONTEND e SCI_VERSION_TAG_BACKEND = $VERSION_HYPHEN"
+
+        DATA='{'
+          DATA+='"query":"mutation($versionOfSeniorCI: String) {'
+            DATA+='updateVersionVars(version: $versionOfSeniorCI) { success, reason }'
+          DATA+='}",'
+          DATA+='"variables":{ "versionOfSeniorCI":"'$VERSION_HYPHEN'" }'
+        DATA+='}'
+
+        curl "$CQAT_URL"/graphql \
+            -X POST \
+            -H 'Content-Type: application/json' \
+            --data "$DATA"
+    fi
+}
+
+SONAR_URL="http://sonar.senior.com.br"
+
+getopts "rux" op;
+case "$op" in
+  r)  echo "[CI] Starting Self-Release"
+      unshallow_repo
+
+      get_next_version $2
+
+      call_extension "before_release"
+
+      create_release_branch
+
+      call_extension "before_change_changelog"
+
+      update_changelog
+
+      call_extension "after_change_changelog"
+
+      create_release_tag
+
+      call_extension "after_release"
+
+      update_ci_vars
+
+      notify_release_teams_channel
+      ;;
+
+  u)  echo "[CI] Atualizando variáveis do CI"
+      unshallow_repo
+
+      VERSION_HYPHEN=`git describe --tags --abbrev=0`
+
+      update_ci_vars
+      ;;
+  x)  echo "[CI] Realizando análise e publicação dos resultados no SonarQube - $SONAR_URL"
+      python3 senior-ci/ci/sonar_scanner.py
+      ;;
+esac

package/senior-ci/ci/sonar_scanner.py

@@ -0,0 +1,48 @@
+import sys
+
+sys.path.append("./senior-ci")
+
+from common import exit_message
+from common.getopt_helper import GetOptBuilder, Param
+from common.sonar_helper import SonarHelper, SonarScannerType
+
+
+class SonarScannerCI(GetOptBuilder):
+    def __init__(self, argv):
+        builder = super()
+        builder.__init__(argv)
+
+        type_param = Param("type")
+        skip_param = Param("skip", default_value="False")
+
+        builder.add_param(type_param)
+        builder.add_param(skip_param)
+
+        builder.build()
+
+        scanner_type_str: str = type_param.get_param_value()
+        skip_build_str = skip_param.get_param_value()
+
+        skip_build = skip_build_str != "False"
+
+        scanner_type = None
+
+        if scanner_type_str:
+            try:
+                scanner_type = SonarScannerType[scanner_type_str]
+            except Exception:
+                all_scanner_types = [s_t.value for s_t in SonarScannerType]
+                exit_message(
+                    f"Tipo informado inválido, os válidos são {all_scanner_types}",
+                )
+
+        self.sonar_helper = SonarHelper(
+            sonar_scanner_type=scanner_type, skip_build=skip_build
+        )
+
+    def exec(self):
+        self.sonar_helper.scanner_analyze()
+
+
+sonar_scanner_ci = SonarScannerCI(sys.argv[1:])
+sonar_scanner_ci.exec()

package/senior-ci/common/__init__.py

@@ -0,0 +1,250 @@
+"""Module for common methods used on entire application"""
+
+import os
+import random
+import string
+import sys
+from datetime import datetime
+from enum import Enum
+from subprocess import PIPE, STDOUT, Popen
+from typing import List, NoReturn
+
+from colorama import Back, Fore, Style
+
+
+class ExitCode(Enum):
+    SUCCESS = 0
+    ERROR = 1
+
+
+class Command(object):
+    output = ""
+    cmd: str
+    exit_code: ExitCode
+
+    def __init__(self, cmd: str):
+        self.cmd = cmd
+
+    def run(
+        self,
+        print_command=True,
+        print_output=True,
+    ):
+        if print_command:
+            print_message(self.cmd)
+
+        process = Popen(
+            self.cmd,
+            stdout=PIPE,
+            stderr=STDOUT,
+            shell=True,
+        )
+
+        while True:
+            line = process.stdout.readline()
+            if not line:
+                break
+
+            self.output += line.decode()
+
+            if print_output:
+                print(line.decode().replace("\n", ""))
+
+        exit_code = process.wait()
+
+        self._set_exit_code(exit_code)
+
+        return self
+
+    def _set_exit_code(self, exit_code: int):
+        if exit_code == 0:
+            self.exit_code = ExitCode.SUCCESS
+        else:
+            self.exit_code = ExitCode.ERROR
+
+
+def get_env_variable(variable_name: str, default_value: str = None) -> str:
+    """Get the environment variable"""
+
+    var = os.getenv(variable_name)
+
+    if not var:
+        var = default_value
+
+    return var
+
+
+def get_env_variable_required(variable_name: str) -> str:
+    """Get the environment variable and check if exist"""
+
+    var = get_env_variable(variable_name)
+
+    if not var:
+        exit_message(f"Variável obrigatória não informada: {variable_name}")
+
+    return var
+
+
+def convert_tag_to_semver(tag: str) -> str:
+    """Convert a Gitlab Tag to semver format (vX-Y-Z => X.Y.Z)"""
+
+    return tag.replace("v", "").replace("-", ".")
+
+
+def get_commit_tag_as_semver() -> str or None:
+    """Get version from gitlab variable CI_COMMIT_TAG
+    and format it to semver format (vX-Y-Z => X.Y.Z)
+    """
+
+    commit_tag = get_env_variable_required("CI_COMMIT_TAG")
+
+    return convert_tag_to_semver(commit_tag) if commit_tag else None
+
+
+def get_version_from_gitlab() -> str:
+    """Get version from gitlab variables
+
+    Get the tag if running from a tag or
+    add the branch name and SNAPSHOT
+    """
+
+    version = get_commit_tag_as_semver()
+
+    if not version:
+        commit_ref_slug = get_env_variable_required("CI_COMMIT_REF_SLUG")
+
+        version = f"{commit_ref_slug}-SNAPSHOT"
+
+    return version
+
+
+def print_message(message: str, fore_color=None) -> NoReturn:
+    """Print a colored message"""
+
+    colored_message = get_colored_message(message, fore_color)
+
+    print(colored_message)
+
+
+def print_messages(messages: List[str], fore_color=None) -> NoReturn:
+    """Print many colored messages"""
+
+    for message in messages:
+        print_message(message, fore_color)
+
+
+def get_colored_message(
+    message, fore_color: Fore = None, back_color: Back = None
+) -> str:
+    """Color a message"""
+
+    fore_color_code = fore_color if fore_color else ""
+    back_color_code = back_color if back_color else ""
+
+    reset_style_code = Style.RESET_ALL if back_color or fore_color else ""
+
+    return f"{back_color_code}{fore_color_code}[CI] {message}{reset_style_code}"
+
+
+def start_collapsible_section(header: str, fore_color: Fore = None) -> str:
+    """Print a message with the GitLab syntax to create a collapse section
+    and return the id for use when close the section
+
+    https://docs.gitlab.com/ee/ci/jobs/index.html#custom-collapsible-sections
+    """
+
+    section_id = "".join(random.choices(string.ascii_uppercase + string.digits, k=10))
+
+    colored_header = get_colored_message(header, fore_color)
+
+    print(" ")
+    print(
+        f"\033[0Ksection_start:{datetime.utcnow().strftime('%s')}:{section_id}\r\033[0K{colored_header}"
+    )
+    print(" ")
+
+    return section_id
+
+
+def end_collapsible_section(section_id: str) -> NoReturn:
+    """Close the section"""
+
+    print(
+        f"\033[0Ksection_end:{datetime.utcnow().strftime('%s')}:{section_id}\r\033[0K"
+    )
+
+
+def exit_message(message: str) -> NoReturn:
+    """Print a red error message and stop the execution"""
+
+    print_message(message, Fore.LIGHTRED_EX)
+    sys.exit(2)
+
+
+def exec_command(command: str, print_command=True, print_output=True) -> Command:
+    """Run a command"""
+
+    cmd = Command(command)
+    return cmd.run(print_command, print_output)
+
+
+def exec_command_without_print(command: str) -> NoReturn:
+    """
+    Deprecated: use directly `exec_command(command, print_command=False)`
+
+    Execute a command without print it
+    """
+
+    exec_command(command, print_command=False)
+
+
+def exec_command_and_return(command) -> Command:
+    """
+    Deprecated: use directly `exec_command(command)`
+
+    Print a command then execute and return the output
+    """
+
+    return exec_command(command)
+
+
+def cd_path(path: str) -> NoReturn:
+    """Print a path then navigate"""
+
+    print(f"Navigating to path: {path}", flush=True)
+    os.chdir(path)
+
+
+def unshallow_repo() -> NoReturn:
+    """Get all references of repository"""
+
+    section_id = start_collapsible_section(
+        "Atualizando repositório git com todas as referências", Fore.YELLOW
+    )
+
+    is_shallow = exec_command(
+        "git rev-parse --is-shallow-repository", print_output=False
+    )
+
+    if is_shallow.output.rstrip() == "true":
+        exec_command("git fetch --unshallow", print_output=False)
+
+    exec_command("git fetch --all", print_output=False)
+
+    print_message("Repositório atualizado")
+
+    end_collapsible_section(section_id)
+
+
+def is_path_exist(path: str) -> bool:
+    """Validate the existence of a path"""
+
+    return os.path.exists(path)
+
+
+def is_frontend() -> bool:
+    """Verify if project is frontend"""
+
+    ci_project_name = get_env_variable_required("CI_PROJECT_NAME")
+
+    return "-frontend" in ci_project_name

package/senior-ci/common/default-files/pom.xml

@@ -0,0 +1,10 @@
+<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
+  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
+  <modelVersion>4.0.0</modelVersion>
+  <groupId>br.com.senior</groupId>
+  <artifactId>ci-default-template</artifactId>
+  <packaging>jar</packaging>
+  <version>1.0-SNAPSHOT</version>
+  <dependencies>
+  </dependencies>
+</project>

package/senior-ci/common/docker-helpers.sh

@@ -0,0 +1,57 @@
+#!/bin/bash
+
+docker_login() {
+  docker login -u $DOCKERHUB_USERNAME -p $DOCKERHUB_PASS
+}
+
+create_dockerhub_repo(){
+  if [ -z "$SKIP_REPOCREATION" ]; then
+    echo "[CI] Verificando se o repositorio ja existe no Dockerhub"
+
+    SDL_PROPERTIES="sdl.properties"
+    POM_XML="pom.xml"
+
+    if [[ -z "$SVC_IMAGE" && -f "$SDL_PROPERTIES" ]]; then
+      IMAGE_NAME=`cat $SDL_PROPERTIES | sed -n -e 's/generator.app.name=//p'`
+      IMAGE_NAME=`echo ${IMAGE_NAME%%[[:cntrl:]]} | xargs`
+    elif [[ -z "$SVC_IMAGE" && -f "$POM_XML" ]]; then
+      IMAGE_NAME=`mvn help:evaluate -Dexpression=project.artifactId -q -DforceStdout`
+      IMAGE_NAME=`echo ${IMAGE_NAME%%[[:cntrl:]]} | xargs`
+    elif [ -n "$SVC_IMAGE" ]; then
+      IMAGE_NAME=$SVC_IMAGE
+    else
+      echo "[CI] Não foi possível encontrar o nome da imagem do serviço. Por favor entre com contato com a equipe DevOps."
+      exit 1
+    fi
+
+    echo "[CI] Validando o repo $IMAGE_NAME no Dockerhub. Para o projeto no gitlab $CI_PROJECT_NAME"
+
+    DATA='{
+      "query": "mutation($repository: String, $gitRepo: String) { createDockerhubRepo(repository: $repository, gitRepo: $gitRepo) { result } }",
+      "variables": { "repository":"'$IMAGE_NAME'","gitRepo":"'$CI_PROJECT_NAME'" }
+    }'
+
+    RESPONSE_CQAT=`curl -sS \
+        -X POST \
+        -H "Content-Type: application/json" \
+        --data "$DATA" \
+        $CQAT_URL/graphql`
+
+    if jq -e . >/dev/null 2>&1 <<<"$RESPONSE_CQAT"; then
+      echo "[CI] Validando retorno da criação do repo."
+    else
+      echo "[CI] Não foi possível se comunicar com o CQAT. Por favor entre com contato com a equipe DevOps."
+      echo $RESPONSE_CQAT
+      exit 1
+    fi
+
+    ERROR_MESSAGES=`echo $RESPONSE_CQAT | jq -r ".errors | if . != null then .[].message else empty end" 2>&-`
+
+    if [ -n "$ERROR_MESSAGES" ]; then
+        echo "[CI] Ocorreu um erro ao executar a validação/criação do repo."
+        echo $ERROR_MESSAGES
+        exit 1
+    fi
+  fi
+}
+

package/senior-ci/common/extensions.py

@@ -0,0 +1,88 @@
+"""Extension module to create customizations"""
+
+from pathlib import Path
+import importlib
+import importlib.util
+import sys
+
+sys.path.append("./senior-ci")
+
+from . import print_message
+
+
+class Extensions:
+    def __init__(
+        self,
+    ):
+        senior_ci_extensions_file = Path(".senior_ci_extensions.py")
+
+        self.senior_ci_extensions = None
+        if senior_ci_extensions_file.is_file():
+            print_message(
+                "Carregando arquivo de extensões - .senior_ci_extensions.py"
+            )
+
+            spec = importlib.util.spec_from_file_location(
+                "senior_ci_extensions", senior_ci_extensions_file
+            )
+            self.senior_ci_extensions = importlib.util.module_from_spec(spec)
+            spec.loader.exec_module(self.senior_ci_extensions)
+
+        else:
+            print_message(
+                "Arquivo de extensões não encontrado (.senior_ci_extensions.py). Continuando execução padrão do CI."
+            )
+
+    def before_build(self):
+        self._exec_hook("before_build")
+
+    def after_build(self):
+        self._exec_hook("after_build")
+
+    def before_release_snapshot(self):
+        self._exec_hook("before_release_snapshot")
+
+    def after_release_snapshot(self):
+        self._exec_hook("after_release_snapshot")
+
+    def before_release(self):
+        self._exec_hook("before_release")
+
+    def after_release(self):
+        self._exec_hook("after_release")
+
+    def before_change_changelog(self):
+        self._exec_hook("before_change_changelog")
+
+    def after_change_changelog(self):
+        self._exec_hook("after_change_changelog")
+
+    def before_packaging(self):
+        self._exec_hook("before_packaging")
+
+    def after_packaging(self):
+        self._exec_hook("after_packaging")
+
+    def before_deploy(self):
+        self._exec_hook("before_deploy")
+
+    def after_deploy(self):
+        self._exec_hook("after_deploy")
+
+    def before_sonar(self):
+        self._exec_hook("before_sonar")
+
+    def after_sonar(self):
+        self._exec_hook("after_sonar")
+
+    def _exec_hook(self, hook):
+        if self.senior_ci_extensions and hasattr(self.senior_ci_extensions, hook):
+            print_message(f"Disparando hook {hook} do .senior_ci_extensions.py")
+            hook = getattr(self.senior_ci_extensions, hook)
+            hook()
+
+        self.do_nothing()
+
+    @staticmethod
+    def do_nothing():
+        """Method for when the hook was not found"""

package/senior-ci/common/flutter-helpers.sh

@@ -0,0 +1,3 @@
+get_attribute() {
+  cat pubspec.yaml | grep $1 | head -1 | cut -d ":" -f 2 | sed "s/(version:)[\s]?(?<semver>[0-9\.]+)\+(?<build>[0-9]+)//g"
+}