mimic-check 0.1.0__tar.gz

mimic_check-0.1.0/PKG-INFO

@@ -0,0 +1,111 @@
+Metadata-Version: 2.4
+Name: mimic-check
+Version: 0.1.0
+Summary: A security tool to check for typosquatting and package reliability in requirements.txt
+Author-email: Disnana <support@disnana.com>
+License: MIT
+Classifier: Programming Language :: Python :: 3
+Classifier: Operating System :: OS Independent
+Requires-Python: >=3.7
+Description-Content-Type: text/markdown
+Requires-Dist: requests
+Requires-Dist: toml
+
+# mimic-check
+
+`mimic-check` は、`requirements.txt` に記載された Python パッケージの安全性を検証するためのツールです。
+タイポスクワッティング（有名なパッケージに似た名前の悪意あるパッケージ）の検出や、ダウンロード数・GitHub スター数に基づいた信頼性の評価を行います。
+
+## 特徴
+
+- **タイポ検出**: `requests` を `reqeusts` と書き間違えているようなケースを検出し警告します。
+- **信頼性評価**: PyPI のダウンロード数（直近1ヶ月）と GitHub のスター数を確認し、閾値未満のパッケージを警告します。
+- **効率的なキャッシュ**: 検証結果を当日中のみ有効なキャッシュとして保存し、不要な API リクエストを削減します。
+- **PyPI 存在確認**: パッケージが PyPI に存在しない場合、即座に警告し後続のチェックをスキップします。
+- **CI 対応**: `--ci` フラグを使用することで、問題検出時に非ゼロの終了コードで終了し、パイプラインを停止させることができます。
+
+## セットアップ
+
+### 必要条件
+
+- Python 3.x
+- `requests`, `toml` パッケージ
+
+### インストール
+
+PyPIからインストールする場合（公開後）：
+
+```bash
+pip install mimic-check
+```
+
+ローカルで開発用にインストールする場合：
+
+```bash
+pip install -e .
+```
+
+これにより、`mimi` コマンドが使用可能になります。
+
+## 使い方
+
+### 基本的な実行
+
+```bash
+mimi --file requirements.txt
+```
+
+実行すると、パッケージごとに以下のチェックが行われます：
+1. 有名パッケージとの名前の類似性（タイポ）チェック
+2. PyPI での存在確認
+3. ダウンロード数とスター数の確認
+
+問題が見つかった場合、警告が表示され、続行するかどうかを確認されます。`y` を入力すると、そのパッケージを含めた一時的な requirements ファイルで `pip install` が実行されます。
+
+### CI モードでの実行
+
+CI/CD パイプラインなどで、問題検出時に自動的にエラーとしたい場合は `--ci` フラグを使用します。
+
+```bash
+mimi --file requirements.txt --ci
+```
+
+## PyPIへの配布方法
+
+1. ビルドツールのインストール:
+```bash
+pip install build twine
+```
+
+2. パッケージのビルド:
+```bash
+python -m build
+```
+
+3. PyPIへのアップロード (テスト環境):
+```bash
+python -m twine upload --repository testpypi dist/*
+```
+
+4. PyPIへのアップロード (本番環境):
+```bash
+python -m twine upload dist/*
+```
+
+## 設定 (`config.toml`)
+
+プロジェクトのルートにある `config.toml` で動作をカスタマイズできます。
+
+```toml
+[mimi]
+min_downloads = 1000  # 信頼できるとみなす最小ダウンロード数
+min_stars = 10        # 信頼できるとみなす最小 GitHub スター数
+famous_packages = ["requests", "numpy", "pandas", ...] # タイポチェック対象の有名パッケージ
+trusted_packages = [] # チェックをスキップする信頼済みパッケージ
+```
+
+## キャッシュ
+
+`package_cache.json` に検証結果がキャッシュされます。
+- キャッシュは日付ごとに管理され、翌日には自動的に再検証されます。
+- 信頼性の基準を満たしたパッケージのみがキャッシュされ、警告対象のパッケージは毎回チェックされます。

mimic_check-0.1.0/README.md

@@ -0,0 +1,98 @@
+# mimic-check
+
+`mimic-check` は、`requirements.txt` に記載された Python パッケージの安全性を検証するためのツールです。
+タイポスクワッティング（有名なパッケージに似た名前の悪意あるパッケージ）の検出や、ダウンロード数・GitHub スター数に基づいた信頼性の評価を行います。
+
+## 特徴
+
+- **タイポ検出**: `requests` を `reqeusts` と書き間違えているようなケースを検出し警告します。
+- **信頼性評価**: PyPI のダウンロード数（直近1ヶ月）と GitHub のスター数を確認し、閾値未満のパッケージを警告します。
+- **効率的なキャッシュ**: 検証結果を当日中のみ有効なキャッシュとして保存し、不要な API リクエストを削減します。
+- **PyPI 存在確認**: パッケージが PyPI に存在しない場合、即座に警告し後続のチェックをスキップします。
+- **CI 対応**: `--ci` フラグを使用することで、問題検出時に非ゼロの終了コードで終了し、パイプラインを停止させることができます。
+
+## セットアップ
+
+### 必要条件
+
+- Python 3.x
+- `requests`, `toml` パッケージ
+
+### インストール
+
+PyPIからインストールする場合（公開後）：
+
+```bash
+pip install mimic-check
+```
+
+ローカルで開発用にインストールする場合：
+
+```bash
+pip install -e .
+```
+
+これにより、`mimi` コマンドが使用可能になります。
+
+## 使い方
+
+### 基本的な実行
+
+```bash
+mimi --file requirements.txt
+```
+
+実行すると、パッケージごとに以下のチェックが行われます：
+1. 有名パッケージとの名前の類似性（タイポ）チェック
+2. PyPI での存在確認
+3. ダウンロード数とスター数の確認
+
+問題が見つかった場合、警告が表示され、続行するかどうかを確認されます。`y` を入力すると、そのパッケージを含めた一時的な requirements ファイルで `pip install` が実行されます。
+
+### CI モードでの実行
+
+CI/CD パイプラインなどで、問題検出時に自動的にエラーとしたい場合は `--ci` フラグを使用します。
+
+```bash
+mimi --file requirements.txt --ci
+```
+
+## PyPIへの配布方法
+
+1. ビルドツールのインストール:
+```bash
+pip install build twine
+```
+
+2. パッケージのビルド:
+```bash
+python -m build
+```
+
+3. PyPIへのアップロード (テスト環境):
+```bash
+python -m twine upload --repository testpypi dist/*
+```
+
+4. PyPIへのアップロード (本番環境):
+```bash
+python -m twine upload dist/*
+```
+
+## 設定 (`config.toml`)
+
+プロジェクトのルートにある `config.toml` で動作をカスタマイズできます。
+
+```toml
+[mimi]
+min_downloads = 1000  # 信頼できるとみなす最小ダウンロード数
+min_stars = 10        # 信頼できるとみなす最小 GitHub スター数
+famous_packages = ["requests", "numpy", "pandas", ...] # タイポチェック対象の有名パッケージ
+trusted_packages = [] # チェックをスキップする信頼済みパッケージ
+```
+
+## キャッシュ
+
+`package_cache.json` に検証結果がキャッシュされます。
+- キャッシュは日付ごとに管理され、翌日には自動的に再検証されます。
+- 信頼性の基準を満たしたパッケージのみがキャッシュされ、警告対象のパッケージは毎回チェックされます。

mimic_check-0.1.0/pyproject.toml

@@ -0,0 +1,31 @@
+[build-system]
+requires = ["setuptools>=61.0"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "mimic-check"
+version = "0.1.0"
+authors = [
+  { name = "Disnana", email = "support@disnana.com" },
+]
+description = "A security tool to check for typosquatting and package reliability in requirements.txt"
+readme = "README.md"
+requires-python = ">=3.7"
+license = { text = "MIT" }
+classifiers = [
+    "Programming Language :: Python :: 3",
+    "Operating System :: OS Independent",
+]
+dependencies = [
+    "requests",
+    "toml",
+]
+
+[project.scripts]
+mimi = "mimic.main:main"
+
+[tool.setuptools.packages.find]
+where = ["src"]
+
+[tool.setuptools.package-data]
+mimic = ["*.toml"]

mimic_check-0.1.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+

mimic_check-0.1.0/src/mimic/main.py

@@ -0,0 +1,236 @@
+import sys
+import argparse
+import time
+
+import toml
+import requests
+import subprocess
+import os
+import re
+import json
+import datetime
+from pathlib import Path
+
+# キャッシュと設定の管理
+DEFAULT_CONFIG_PATH = Path(__file__).parent / "config.toml"
+CACHE_FILE = Path.home() / ".mimic_package_cache.json"
+USER_CONFIG_FILE = Path.home() / ".mimic_config.toml"
+REMOTE_CONFIG_URL = "https://raw.githubusercontent.com/disnana/mimic-check/main/config.toml"
+
+
+def load_remote_config():
+    try:
+        res = requests.get(REMOTE_CONFIG_URL, timeout=5)
+        if res.status_code == 200:
+            return toml.loads(res.text)
+    except Exception:
+        pass
+    return None
+
+
+def load_cache():
+    if CACHE_FILE.exists():
+        try:
+            with open(CACHE_FILE, "r") as f:
+                return json.load(f)
+        except Exception:
+            return {}
+    return {}
+
+
+def save_cache(cache):
+    with open(CACHE_FILE, "w") as f:
+        json.dump(cache, f, indent=2)
+
+
+def get_stats(pkg_name, config):
+    if pkg_name in config.get("trusted_packages", []):
+        return {"downloads": 999999, "stars": 999999, "date": "trusted"}
+    # キャッシュを読み込む（存在しない場合は空）
+    cache = load_cache()
+    today = str(datetime.date.today())
+
+    # キャッシュの有効性チェック（当日分のみ有効）
+    if pkg_name in cache:
+        cached_data = cache[pkg_name]
+        if cached_data.get("date") == today and cached_data.get("downloads", 0) > 0:
+            return cached_data
+
+    stats = {"downloads": 0, "stars": 0, "date": today}
+
+    # 1. Downloads (pypistats)
+    try:
+        url = f"https://pypistats.org/api/packages/{pkg_name}/recent"
+        for _ in range(3):
+            res = requests.get(url, headers={'User-Agent': 'Mimi-Security-Scanner'}, timeout=5)
+            if res.status_code == 200:
+                # 公式APIのレスポンス構造(辞書型)に合わせる
+                data = res.json().get("data", {})
+                stats["downloads"] = data.get("last_month", 0)
+                break
+            elif res.status_code == 404:
+                # 404の場合はPyPIに存在しないとみなし、チェックを即座に終了
+                stats["not_found"] = True
+                return stats
+            else:
+                time.sleep(1*_)
+                continue
+    except Exception as e:
+        print(f"DEBUG: Pypistats failed for {pkg_name}: {e}")
+
+    # 2. Stars (GitHub API)
+    try:
+        pypi_res = requests.get(f"https://pypi.org/pypi/{pkg_name}/json", timeout=5)
+        if pypi_res.status_code == 200:
+            pypi_res = pypi_res.json()
+            urls = pypi_res["info"].get("project_urls", {})
+            if urls:
+                candidates = [url for url in urls.values() if "github.com" in url]
+                repo_path = None
+
+                for url in candidates:
+                    # 除外キーワード
+                    if any(k in url for k in ["/sponsors/", "/issues/", "/pulls/"]):
+                        continue
+                    # 正確なキャプチャ
+                    match = re.search(r"github\.com/([^/]+)/([^/]+)", url)
+                    if match:
+                        repo_path = f"{match.group(1)}/{match.group(2)}"
+                        break
+
+                if repo_path:
+                    api_url = f"https://api.github.com/repos/{repo_path}"
+                    gh_res = requests.get(api_url, headers={'User-Agent': 'Mimi-Security-Scanner'}, timeout=5)
+                    if gh_res.status_code == 200:
+                        stats["stars"] = gh_res.json().get("stargazers_count", 0)
+    except Exception as e:
+        print(f"DEBUG: GitHub lookup failed for {pkg_name}: {e}")
+
+    # 基準を満たした場合のみキャッシュする（＝未合格ならキャッシュされず、次回も再検証される）
+    min_dl = config.get("min_downloads", 1000)
+    min_st = config.get("min_stars", 10)
+
+    if stats["downloads"] >= min_dl or stats["stars"] >= min_st:
+        cache[pkg_name] = stats
+        save_cache(cache)
+
+    return stats
+
+
+def levenshtein_distance(s1, s2):
+    s1, s2 = s1.lower(), s2.lower()
+    if len(s1) < len(s2): s1, s2 = s2, s1
+    if len(s2) == 0: return len(s1)
+    prev = range(len(s2) + 1)
+    for i, c1 in enumerate(s1):
+        curr = [i + 1]
+        for j, c2 in enumerate(s2):
+            curr.append(min(prev[j + 1] + 1, curr[j] + 1, prev[j] + (c1 != c2)))
+        prev = curr
+    return prev[-1]
+
+
+def analyze_package(pkg_name, config):
+    # タイポチェック
+    for famous in config.get("famous_packages", []):
+        dist = levenshtein_distance(pkg_name, famous)
+        if 0 < dist <= 2:
+            return f"🚨 TYPO ALERT: '{pkg_name}' is close to '{famous}'"
+
+    # 安全性評価 (configで閾値を可変に)
+    stats = get_stats(pkg_name, config)
+
+    if stats.get("not_found"):
+        return f"🚨 NOT FOUND: '{pkg_name}' was not found on PyPI"
+
+    downloads = stats["downloads"]
+    stars = stats["stars"]
+
+    min_dl = config.get("min_downloads", 1000)
+    min_st = config.get("min_stars", 10)
+
+    if downloads >= min_dl or stars >= min_st:
+        return None
+
+    return f"⚠️ UNVERIFIED: '{pkg_name}' (Downloads: {downloads}, Stars: {stars})"
+
+
+def main():
+    # WindowsのコンソールでUnicode出力をサポートするための設定
+    if sys.platform == "win32":
+        import io
+        sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
+        sys.stderr = io.TextIOWrapper(sys.stderr.buffer, encoding='utf-8')
+
+    parser = argparse.ArgumentParser()
+    parser.add_argument("--file", default="requirements.txt")
+    parser.add_argument("--config")
+    parser.add_argument("--ci", action="store_true")
+    args = parser.parse_args()
+
+    # 設定ファイルの読み込み優先順位:
+    # 1. 引数 --config
+    # 2. ユーザーホームディレクトリの .mimic_config.toml
+    # 3. カレントディレクトリの config.toml
+    # 4. パッケージ同梱のデフォルト config.toml
+
+    # 設定ファイルの読み出し
+    config = None
+    config_path = None
+
+    if args.config:
+        config_path = Path(args.config)
+        if config_path.exists():
+            config = toml.load(config_path)
+    elif USER_CONFIG_FILE.exists():
+        config_path = USER_CONFIG_FILE
+        config = toml.load(config_path)
+    elif Path("config.toml").exists():
+        config_path = Path("config.toml")
+        config = toml.load(config_path)
+
+    # ローカルに見つからない場合はリモート(GitHub)を試行
+    if config is None:
+        config = load_remote_config()
+        if config:
+            config_path = REMOTE_CONFIG_URL
+
+    # リモートもダメなら同梱のデフォルト
+    if config is None:
+        config_path = DEFAULT_CONFIG_PATH
+        if config_path.exists():
+            config = toml.load(config_path)
+
+    if config is None or "mimi" not in config:
+        print(f"Config load error: Could not find valid config")
+        sys.exit(1)
+
+    config = config["mimi"]
+
+    with open(args.file, "r") as f:
+        lines = [line.strip() for line in f if line.strip() and not line.startswith("#")]
+
+    safe_lines = []
+    for line in lines:
+        match = re.match(r"^([a-zA-Z0-9\-_.]+)", line)
+        if not match: continue
+        pkg_name = match.group(1)
+
+        issue = analyze_package(pkg_name, config)
+        if issue:
+            print(issue)
+            if args.ci: sys.exit(1)
+            if input(f"Proceed with '{line}'? [y/N]: ").lower() != 'y': continue
+
+        safe_lines.append(line)
+
+    tmp_file = "requirements.tmp.txt"
+    with open(tmp_file, "w") as f:
+        f.write("\n".join(safe_lines))
+
+    subprocess.run([sys.executable, "-m", "pip", "install", "-r", tmp_file])
+    os.remove(tmp_file)
+
+
+if __name__ == "__main__":
+    main()

mimic_check-0.1.0/src/mimic_check.egg-info/PKG-INFO

@@ -0,0 +1,111 @@
+Metadata-Version: 2.4
+Name: mimic-check
+Version: 0.1.0
+Summary: A security tool to check for typosquatting and package reliability in requirements.txt
+Author-email: Disnana <support@disnana.com>
+License: MIT
+Classifier: Programming Language :: Python :: 3
+Classifier: Operating System :: OS Independent
+Requires-Python: >=3.7
+Description-Content-Type: text/markdown
+Requires-Dist: requests
+Requires-Dist: toml
+
+# mimic-check
+
+`mimic-check` は、`requirements.txt` に記載された Python パッケージの安全性を検証するためのツールです。
+タイポスクワッティング（有名なパッケージに似た名前の悪意あるパッケージ）の検出や、ダウンロード数・GitHub スター数に基づいた信頼性の評価を行います。
+
+## 特徴
+
+- **タイポ検出**: `requests` を `reqeusts` と書き間違えているようなケースを検出し警告します。
+- **信頼性評価**: PyPI のダウンロード数（直近1ヶ月）と GitHub のスター数を確認し、閾値未満のパッケージを警告します。
+- **効率的なキャッシュ**: 検証結果を当日中のみ有効なキャッシュとして保存し、不要な API リクエストを削減します。
+- **PyPI 存在確認**: パッケージが PyPI に存在しない場合、即座に警告し後続のチェックをスキップします。
+- **CI 対応**: `--ci` フラグを使用することで、問題検出時に非ゼロの終了コードで終了し、パイプラインを停止させることができます。
+
+## セットアップ
+
+### 必要条件
+
+- Python 3.x
+- `requests`, `toml` パッケージ
+
+### インストール
+
+PyPIからインストールする場合（公開後）：
+
+```bash
+pip install mimic-check
+```
+
+ローカルで開発用にインストールする場合：
+
+```bash
+pip install -e .
+```
+
+これにより、`mimi` コマンドが使用可能になります。
+
+## 使い方
+
+### 基本的な実行
+
+```bash
+mimi --file requirements.txt
+```
+
+実行すると、パッケージごとに以下のチェックが行われます：
+1. 有名パッケージとの名前の類似性（タイポ）チェック
+2. PyPI での存在確認
+3. ダウンロード数とスター数の確認
+
+問題が見つかった場合、警告が表示され、続行するかどうかを確認されます。`y` を入力すると、そのパッケージを含めた一時的な requirements ファイルで `pip install` が実行されます。
+
+### CI モードでの実行
+
+CI/CD パイプラインなどで、問題検出時に自動的にエラーとしたい場合は `--ci` フラグを使用します。
+
+```bash
+mimi --file requirements.txt --ci
+```
+
+## PyPIへの配布方法
+
+1. ビルドツールのインストール:
+```bash
+pip install build twine
+```
+
+2. パッケージのビルド:
+```bash
+python -m build
+```
+
+3. PyPIへのアップロード (テスト環境):
+```bash
+python -m twine upload --repository testpypi dist/*
+```
+
+4. PyPIへのアップロード (本番環境):
+```bash
+python -m twine upload dist/*
+```
+
+## 設定 (`config.toml`)
+
+プロジェクトのルートにある `config.toml` で動作をカスタマイズできます。
+
+```toml
+[mimi]
+min_downloads = 1000  # 信頼できるとみなす最小ダウンロード数
+min_stars = 10        # 信頼できるとみなす最小 GitHub スター数
+famous_packages = ["requests", "numpy", "pandas", ...] # タイポチェック対象の有名パッケージ
+trusted_packages = [] # チェックをスキップする信頼済みパッケージ
+```
+
+## キャッシュ
+
+`package_cache.json` に検証結果がキャッシュされます。
+- キャッシュは日付ごとに管理され、翌日には自動的に再検証されます。
+- 信頼性の基準を満たしたパッケージのみがキャッシュされ、警告対象のパッケージは毎回チェックされます。

mimic_check-0.1.0/src/mimic_check.egg-info/SOURCES.txt

@@ -0,0 +1,10 @@
+README.md
+pyproject.toml
+src/mimic/__init__.py
+src/mimic/main.py
+src/mimic_check.egg-info/PKG-INFO
+src/mimic_check.egg-info/SOURCES.txt
+src/mimic_check.egg-info/dependency_links.txt
+src/mimic_check.egg-info/entry_points.txt
+src/mimic_check.egg-info/requires.txt
+src/mimic_check.egg-info/top_level.txt

mimic_check-0.1.0/src/mimic_check.egg-info/dependency_links.txt

@@ -0,0 +1 @@
+

mimic_check-0.1.0/src/mimic_check.egg-info/entry_points.txt

@@ -0,0 +1,2 @@
+[console_scripts]
+mimi = mimic.main:main

mimic_check-0.1.0/src/mimic_check.egg-info/requires.txt

@@ -0,0 +1,2 @@
+requests
+toml

mimic_check-0.1.0/src/mimic_check.egg-info/top_level.txt

@@ -0,0 +1 @@
+mimic