oh-my-opencode 4.12.1 → 4.14.0

package/packages/omo-codex/plugin/skills/ultimate-browsing/references/insane-search/jina.md

@@ -0,0 +1,130 @@
+# 범용 웹 추출 — Jina Reader
+
+> `r.jina.ai/URL` 한 줄로 거의 모든 공개 URL을 마크다운으로 변환.
+> Puppeteer 기반 실제 브라우저 렌더링 — JS SPA까지 처리.
+> **API 키 불필요. 무료: 분당 500 RPM.**
+
+## 기본 사용
+
+```bash
+curl -s "https://r.jina.ai/{URL}"
+```
+
+## 고급 기능
+
+### JSON 구조화 출력
+
+```bash
+curl -H "Accept: application/json" "https://r.jina.ai/{URL}"
+```
+
+반환: `data.{title, description, url, content, metadata, external, usage}`
+
+**핵심**: `external.alternate`에서 사이트의 **RSS URL을 자동 발견** 가능.
+
+### CSS 선택자 타겟팅
+
+```bash
+curl -H "X-Target-Selector: .article-body" "https://r.jina.ai/{URL}"
+```
+
+네비게이션/풋터 제거, 본문만 추출. 커뮤니티 게시판에서 특히 효과적.
+
+### SPA 스트리밍 모드
+
+```bash
+curl -H "Accept: text/event-stream" "https://r.jina.ai/{URL}"
+```
+
+JS 로딩 완료까지 대기. 동적 콘텐츠가 완전히 렌더링된 최종 버전 반환.
+
+### 스크린샷
+
+```bash
+curl -H "X-Respond-With: screenshot" "https://r.jina.ai/{URL}"
+```
+
+GCS 서명 URL 반환 (4시간 유효). 비주얼 검증 용도.
+
+### PDF 처리
+
+```bash
+curl -s "https://r.jina.ai/https://example.com/file.pdf"
+```
+
+PDF → 마크다운 자동 변환. 페이지 수 메타데이터 포함.
+
+### 쿠키 전달 (인증 사이트)
+
+```bash
+curl -H "X-Set-Cookie: session=abc123" "https://r.jina.ai/{URL}"
+```
+
+### 링크 보존
+
+```bash
+curl -H "X-With-Links: true" "https://r.jina.ai/{URL}"
+```
+
+### 캐시 제어
+
+```bash
+# 캐시 우회 (실시간 필요 시)
+curl -H "X-No-Cache: true" "https://r.jina.ai/{URL}"
+
+# 캐시 TTL 지정 (초)
+curl -H "X-Cache-Tolerance: 600" "https://r.jina.ai/{URL}"
+```
+
+### 순수 텍스트 / 원본 HTML
+
+```bash
+# body.innerText만
+curl -H "X-Respond-With: text" "https://r.jina.ai/{URL}"
+
+# 원본 HTML
+curl -H "X-Respond-With: html" "https://r.jina.ai/{URL}"
+```
+
+## 검증된 성공 사이트
+
+| 사이트 | 결과 | 비고 |
+|--------|------|------|
+| Threads | 성공 | 프로필 + 포스트 |
+| 클리앙 | 성공 | 게시글 목록 + 본문 |
+| 루리웹 | 성공 | 게시글 목록 + 본문 |
+| 뽐뿌 | 성공 | 게시글 + RSS도 가능 |
+| 네이버 뉴스 | 성공 | 기사 목록 + 본문 완전 |
+| 네이버 증권 | 성공 | 실시간 주가 |
+| 긱뉴스 | 성공 | 토픽 목록 + 본문 |
+| 44bits | 성공 | 기사 목록 |
+| 커리어리 | 성공 | JS 렌더링으로 추출 |
+| 브런치 | 성공 | 기사 전문 |
+| 한경 | 성공 | 뉴스 기사 |
+| 다음 뉴스 | 성공 | 뉴스 기사 |
+| Medium | 성공 | 기사 전문 (paywall 제외) |
+| Substack | 성공 | 뉴스레터 전문 |
+| dev.to | 성공 | 기사 전문 |
+| PDF (모든 URL) | 성공 | 자동 변환 |
+
+## 실패하는 사이트
+
+| 사이트 | 이유 |
+|--------|------|
+| X/Twitter | 402 — Syndication/oEmbed 사용 (twitter.md 참조) |
+| Reddit | 차단 — JSON API 사용 (json-api.md 참조) |
+| 디시인사이드 | 빈 본문 반환 |
+| 에펨코리아 | HTTP 430 |
+| 요즘IT | CloudFront 403 |
+| 네이버 쇼핑 | CAPTCHA |
+| 쿠팡 | WAF 차단 |
+
+
+## RSS 자동 발견
+
+Jina JSON 모드의 `external.alternate`에서 사이트의 RSS URL이 자동 노출됨:
+
+```bash
+curl -H "Accept: application/json" "https://r.jina.ai/{URL}" | \
+python3 -c "import sys,json; print(json.load(sys.stdin)['data'].get('external',{}))"
+```

package/packages/omo-codex/plugin/skills/ultimate-browsing/references/insane-search/json-api.md

@@ -0,0 +1,133 @@
+# JSON API 직접 호출
+
+> URL 변형이나 공개 엔드포인트로 구조화된 JSON을 직접 가져오는 패턴.
+> 인증 불필요. Jina Reader보다 빠르고 정확한 구조화 데이터 획득.
+
+## Reddit
+
+**Mobile User-Agent 필수** (없으면 403/429).
+
+```bash
+UA="Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15"
+
+# 서브레딧 핫 포스트
+curl -sL -H "User-Agent: $UA" "https://www.reddit.com/r/{subreddit}/hot.json?limit=10"
+
+# 검색
+curl -sL -H "User-Agent: $UA" "https://www.reddit.com/r/{subreddit}/search.json?q={query}&restrict_sr=1"
+
+# 포스트 + 댓글
+curl -sL -H "User-Agent: $UA" "https://www.reddit.com/r/{subreddit}/comments/{post_id}/{slug}/.json"
+
+# 정렬: hot.json / new.json / top.json?t=week
+```
+
+데이터: `title`, `author`, `score`, `selftext`(전문), `num_comments`, `created_utc`
+댓글: 응답 `[1]` 배열에 재귀적 트리
+
+## Hacker News (Firebase API)
+
+Rate limit 사실상 없음.
+
+```bash
+# 탑 스토리 ID 목록
+curl -sL "https://hacker-news.firebaseio.com/v0/topstories.json?limitToFirst=10&orderBy=%22%24key%22"
+
+# 개별 아이템
+curl -sL "https://hacker-news.firebaseio.com/v0/item/{id}.json"
+
+# 변형: beststories / newstories / askstories / showstories
+```
+
+데이터: `title`, `url`, `score`, `by`(작성자), `descendants`(댓글수), `kids`(댓글 ID)
+
+배치 조회:
+```bash
+python3 -c "
+import urllib.request, json
+ids = json.load(urllib.request.urlopen('https://hacker-news.firebaseio.com/v0/topstories.json?limitToFirst=5&orderBy=\"\$key\"'))
+for id in ids:
+    item = json.load(urllib.request.urlopen(f'https://hacker-news.firebaseio.com/v0/item/{id}.json'))
+    print(f'[{item.get(\"score\",0)}] {item.get(\"title\")}')
+    print(f'  {item.get(\"url\",\"N/A\")[:60]}')
+"
+```
+
+## Lobste.rs
+
+Rate limit 없음. HN보다 작지만 고품질 큐레이션.
+
+```bash
+# 핫 스토리
+curl -sL "https://lobste.rs/hottest.json"
+
+# 태그별 (ai, programming, web, security 등)
+curl -sL "https://lobste.rs/t/ai.json"
+
+# 최신
+curl -sL "https://lobste.rs/newest.json"
+
+# 개별 스토리 + 댓글
+curl -sL "https://lobste.rs/s/{short_id}.json"
+```
+
+데이터: `title`, `url`, `score`, `comment_count`, `tags`, `submitter_user`
+
+## dev.to
+
+```bash
+# 태그별 최신
+curl -sL "https://dev.to/api/articles?tag=ai&per_page=5"
+
+# 이번 주 탑
+curl -sL "https://dev.to/api/articles?top=7&per_page=5"
+
+# 특정 유저
+curl -sL "https://dev.to/api/articles?username={user}&per_page=5"
+```
+
+데이터: `title`, `user.name`, `public_reactions_count`, `reading_time_minutes`, `tags`
+
+## npm Registry
+
+```bash
+# 패키지 최신 버전
+curl -sL "https://registry.npmjs.org/{package}/latest"
+
+# 패키지 검색
+curl -sL "https://registry.npmjs.org/-/v1/search?text={query}&size=5"
+
+# 다운로드 통계
+curl -sL "https://api.npmjs.org/downloads/range/last-month/{package}"
+```
+
+## PyPI
+
+```bash
+# 패키지 정보
+curl -sL "https://pypi.org/pypi/{package}/json"
+
+# 다운로드 통계
+curl -sL "https://pypistats.org/api/packages/{package}/recent"
+```
+
+## Wikipedia
+
+```bash
+# 페이지 요약
+curl -sL "https://en.wikipedia.org/api/rest_v1/page/summary/{title}"
+# 한국어: https://ko.wikipedia.org/api/rest_v1/page/summary/{title}
+
+# 검색
+curl -sL "https://en.wikipedia.org/w/api.php?action=opensearch&search={query}&limit=5&format=json"
+```
+
+## V2EX
+
+```bash
+curl -sL "https://www.v2ex.com/api/topics/hot.json" -H "User-Agent: insane-search/1.0"
+```
+
+## RSS 피드
+
+→ [rss.md](rss.md)로 이동. 한국 언론 RSS, Google News RSS, feedparser 사용법 등 상세 가이드 참조.

package/packages/omo-codex/plugin/skills/ultimate-browsing/references/insane-search/media.md

@@ -0,0 +1,123 @@
+# 미디어 추출 — yt-dlp
+
+> yt-dlp는 YouTube 전용 도구가 아니라 **1,858개 사이트**를 지원하는 범용 미디어 추출 도구.
+> 영상, 오디오, 팟캐스트, 라이브 스트리밍 — 미디어 URL이면 yt-dlp를 먼저 시도한다.
+
+## 설치 확인
+
+```bash
+which yt-dlp || python3 -m yt_dlp --version
+```
+
+- `yt-dlp` 명령어가 PATH에 있으면 그대로 사용
+- 없으면 `python3 -m yt_dlp`로 대체 (아래 모든 명령어에서 치환)
+- 미설치 시: `pip install yt-dlp`
+
+## 핵심 명령어 (모든 지원 사이트 공통)
+
+### 메타데이터 추출 (가장 범용)
+
+```bash
+yt-dlp --dump-json "URL"
+```
+
+title, uploader, duration, view_count, description, tags 등 구조화 JSON 반환.
+전용 extractor가 있는 사이트에서 ~95% 성공.
+
+### 자막 추출
+
+```bash
+yt-dlp --write-sub --write-auto-sub --sub-lang "en,ko" --skip-download -o "/tmp/%(id)s" "URL"
+cat /tmp/VIDEO_ID.*.vtt
+```
+
+YouTube는 100개 언어 자동자막 지원. 다른 사이트는 자체 자막 제공 시에만 동작.
+
+### 검색
+
+```bash
+# YouTube
+yt-dlp --dump-json "ytsearch5:{검색어}"
+
+# SoundCloud
+yt-dlp --dump-json "scsearch5:{검색어}"
+
+# Dailymotion
+yt-dlp --dump-json "dailymotionsearch5:{검색어}"
+
+# Yahoo
+yt-dlp --dump-json "yahoosearch5:{검색어}"
+```
+
+### 채널/플레이리스트 목록 (다운로드 없이)
+
+```bash
+yt-dlp --flat-playlist --dump-json "채널_URL"
+```
+
+title, id, url, duration 반환. 채널 전체 영상 목록을 초고속 수집.
+
+### 댓글 추출 (YouTube)
+
+```bash
+yt-dlp --write-comments --skip-download --write-info-json \
+  --extractor-args "youtube:max_comments=20" \
+  -o "/tmp/%(id)s" "URL"
+```
+
+## 지원 플랫폼 카테고리
+
+### 영상
+
+| 사이트 | 메타데이터 | 자막 | 검색 | 비고 |
+|--------|----------|------|------|------|
+| YouTube | O | O (자동생성 포함) | `ytsearch` | 최고 지원 |
+| Vimeo | O | O (사이트 제공 시) | X | 학술/다큐 콘텐츠 풍부 |
+| Twitch | O (VOD/클립) | X | X | 기술 스트리밍 |
+| TikTok | O | X | X | 공개 계정만 |
+| Dailymotion | O | O | `dailymotionsearch` | |
+| Rumble | O | X | X | |
+| PeerTube | O | X | X | 탈중앙화 |
+
+### 오디오/팟캐스트
+
+| 사이트 | 메타데이터 | 검색 | 비고 |
+|--------|----------|------|------|
+| SoundCloud | O | `scsearch` | 검색까지 가능 — 최고 |
+| Apple Podcasts | O | X | RSS 기반 |
+| TuneIn | O | X | |
+| acast | O | X | 채널 단위 지원 |
+| Spreaker | O | X | |
+| Audius | O | X | 블록체인 기반 |
+
+### 한국 플랫폼
+
+| 사이트 | Extractor | 비고 |
+|--------|-----------|------|
+| Naver TV | `Naver`, `Naver:live` | |
+| Kakao | `Kakao` | |
+| SBS | `SBS`, `sbs.co.kr` | |
+| JTBC | `JTBC`, `JTBC:program` | |
+| Chzzk | `chzzk:video`, `chzzk:live` | 네이버 스트리밍 |
+| Soop (구 AfreecaTV) | `soop`, `soop:live` | |
+| Daum | `daum.net`, `daum.net:clip` | |
+| Weverse | `Weverse`, `WeverseLive` | K-팝 팬덤 |
+
+### 뉴스 VOD
+
+| 사이트 | 비고 |
+|--------|------|
+| BBC | 공개 VOD |
+| ABC (호주) | iview |
+| CBS News | |
+| NBC News | 차단 많음 |
+
+> 뉴스 사이트는 직접 URL보다 **YouTube 공식 채널 경유**가 더 안정적.
+> 예: `ytsearch:BBC News {키워드}`
+
+## 주의사항
+
+- 자동 생성 자막은 행간 중복 → 후처리 필요
+- generic extractor는 성공률 ~30% — 전용 extractor 있는 사이트 우선
+- 페이월/로그인 사이트는 대부분 실패
+- `--dump-json`이 가장 안전한 범용 명령 (다운로드 없음, 메타데이터만)

package/packages/omo-codex/plugin/skills/ultimate-browsing/references/insane-search/metadata.md

@@ -0,0 +1,116 @@
+# 메타데이터 추출 — OGP / JSON-LD / Schema.org
+
+> HTML을 받았을 때 구조화된 데이터를 추출하는 보조 기법.
+> 본문 전체를 못 가져와도 제목, 요약, 가격, 프로필 등 핵심 정보를 확보할 수 있다.
+
+## 의존성
+
+없음 (curl + python3 기본 모듈).
+
+## OGP (Open Graph Protocol) 메타태그
+
+대부분의 사이트가 소셜 공유용으로 삽입. 제목 + 설명 + 이미지 확보 가능.
+
+```bash
+curl -sL -H "User-Agent: Mozilla/5.0 ..." "{URL}" | \
+  python3 -c "
+import sys, re
+html = sys.stdin.read()
+for m in re.findall(r'<meta property=\"og:(\w+)\" content=\"([^\"]*?)\"', html):
+    print(f'og:{m[0]} = {m[1]}')
+for m in re.findall(r'<meta name=\"description\" content=\"([^\"]*?)\"', html):
+    print(f'description = {m}')
+"
+```
+
+## JSON-LD (Schema.org 구조화 데이터)
+
+**가장 가치 높은 추출 대상.** 상품, 기사, 프로필 등 구조화된 정보가 JSON으로 들어있다.
+
+```bash
+curl -sL "{URL}" | \
+  python3 -c "
+import sys, re, json
+html = sys.stdin.read()
+blocks = re.findall(r'<script type=\"application/ld\+json\">(.*?)</script>', html, re.DOTALL)
+for b in blocks:
+    try:
+        data = json.loads(b)
+        print(json.dumps(data, ensure_ascii=False, indent=2))
+    except:
+        pass
+"
+```
+
+### 실제 사례
+
+**쿠팡 검색 결과** — `CollectionPage` + `ItemList`:
+```json
+{
+  "@type": "CollectionPage",
+  "mainEntity": {
+    "@type": "ItemList",
+    "itemListElement": [
+      {
+        "@type": "ListItem",
+        "item": {
+          "@type": "Product",
+          "name": "...",
+          "offers": { "price": 29900 }
+        }
+      }
+    ]
+  }
+}
+```
+
+**LinkedIn 프로필** — `Person`:
+```json
+{
+  "@type": "Person",
+  "name": "...",
+  "jobTitle": "...",
+  "alumniOf": [
+    { "@type": "Organization", "name": "..." }
+  ]
+}
+```
+
+**뉴스 기사** — `NewsArticle`:
+```json
+{
+  "@type": "NewsArticle",
+  "headline": "...",
+  "datePublished": "2026-04-16",
+  "author": { "name": "..." },
+  "articleBody": "..."
+}
+```
+
+## Next.js RSC 페이로드 (요즘IT 등)
+
+Next.js App Router 사이트는 `self.__next_f.push()` 스크립트에 콘텐츠가 포함됨.
+
+```bash
+curl -sL "{URL}" | \
+  python3 -c "
+import sys, re
+html = sys.stdin.read()
+chunks = re.findall(r'self\.__next_f\.push\(\[1,\"(.*?)\"\]\)', html)
+text = ''.join(chunks)
+# 한국어 텍스트 추출 (유니코드 이스케이프 디코딩)
+decoded = text.encode().decode('unicode_escape', errors='ignore')
+print(decoded[:3000])
+"
+```
+
+## 활용 시점
+
+메타데이터 추출은 **독립 방법이 아니라 보조 기법**이다.
+어떤 Phase에서든 HTML을 받으면 같이 실행:
+
+- Phase 1에서 curl로 HTML 받음 → JSON-LD도 추출
+- Phase 2에서 curl_cffi로 HTML 받음 → JSON-LD도 추출
+- Phase 3에서 Playwright로 DOM 받음 → `browser_evaluate`로 JSON-LD 추출
+
+본문은 못 가져와도 JSON-LD에서 **상품 가격, 기사 요약, 프로필 정보**는 확보될 수 있다.

package/packages/omo-codex/plugin/skills/ultimate-browsing/references/insane-search/naver.md

@@ -0,0 +1,107 @@
+# 네이버 계열 접근 전략
+
+> 네이버 서비스별로 접근 방법이 다르다. 블로그는 모바일 URL, 뉴스/증권은 Jina Reader.
+
+## 네이버 블로그
+
+WebFetch 차단. 모바일 URL 변환 + iPhone UA로 접근.
+
+```bash
+# blog.naver.com/{ID}/{NO} → m.blog.naver.com 변환
+curl -sL \
+  -H "User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Mobile/15E148 Safari/604.1" \
+  -H "Accept-Language: ko-KR,ko;q=0.9" \
+  -H "Referer: https://m.naver.com/" \
+  "https://m.blog.naver.com/PostView.naver?blogId={ID}&logNo={NO}"
+```
+
+RSS도 가능 (최신 50개, 본문 약 300자):
+```bash
+curl -sL "https://rss.blog.naver.com/{BLOG_ID}.xml"
+```
+
+## 네이버 뉴스
+
+Jina Reader로 완전 접근 가능.
+
+```bash
+# 기사 목록
+curl -s "https://r.jina.ai/https://news.naver.com/"
+
+# 개별 기사
+curl -s "https://r.jina.ai/https://n.news.naver.com/article/{press_id}/{article_id}"
+```
+
+## 네이버 증권
+
+Jina Reader로 실시간 주가, 주요 뉴스 접근.
+
+```bash
+curl -s "https://r.jina.ai/https://finance.naver.com/item/main.naver?code={종목코드}"
+```
+
+## 네이버 금융 시세 (비공식, 무인증)
+
+인증 불필요. 주가 시계열 데이터 JSON 반환.
+
+```bash
+# 일봉 시세 (삼성전자=005930)
+curl -sL "https://api.finance.naver.com/siseJson.naver?symbol=005930&requestType=1&startTime=20240101&endTime=20241231&timeframe=day"
+
+# 분봉
+curl -sL "https://api.finance.naver.com/siseJson.naver?symbol=005930&requestType=0&timeframe=minute&count=200"
+```
+
+응답: `[[날짜, 시가, 고가, 저가, 종가, 거래량, 외국인거래율], ...]`
+
+## 네이버 검색 (신원위장으로 직접 접근)
+
+curl_cffi + 세션 쿠키 워밍으로 네이버 검색 결과를 직접 크롤링할 수 있다. API 키 불필요.
+
+```python
+from curl_cffi import requests
+from urllib.parse import quote
+
+s = requests.Session(impersonate="chrome124")
+s.headers.update({
+    "Accept-Language": "ko-KR,ko;q=0.9",
+    "Referer": "https://www.google.com/",
+})
+s.get("https://www.naver.com/", timeout=10)  # 쿠키 워밍
+s.headers["Referer"] = "https://www.naver.com/"
+
+# 통합 검색 (블로그+뉴스+웹 혼합)
+r = s.get(f"https://search.naver.com/search.naver?query={quote('검색어')}")
+
+# 블로그 탭
+r = s.get(f"https://search.naver.com/search.naver?where=post&query={quote('검색어')}")
+
+# 뉴스 탭
+r = s.get(f"https://search.naver.com/search.naver?where=news&query={quote('검색어')}")
+```
+
+### 추출 가능한 데이터
+
+| 탭 | URL 패턴 | 추출 |
+|---|---|---|
+| 통합 | `search.naver?query=` | 블로그 URL, 외부 링크, 뉴스 |
+| 블로그 | `where=post&query=` | blog.naver.com URL, 제목, 스니펫 |
+| 뉴스 | `where=news&query=` | n.news.naver.com URL, 제목 |
+
+### 한국어 키워드 검색의 핵심 경로
+
+WebSearch는 한국어 신규 콘텐츠 인덱싱이 지연되지만, 네이버 검색은 한국어에 최적화되어 있다.
+**한국 사이트 키워드 검색 → 네이버 검색 직접 접근이 가장 정확하고 빠르다.**
+
+## 네이버 카페
+
+로그인 + iframe 이중 장벽. 본문 직접 접근 불가.
+fallback 체인에서 Phase 1~3을 시도하되, login/paywall 감지 시 "인증 필요"로 종료.
+
+## 네이버 TV
+
+yt-dlp로 접근 (media.md 참조).
+
+```bash
+yt-dlp --dump-json "https://tv.naver.com/v/{video_id}"
+```