# link-crawler

> 技術ドキュメントサイトをクロールし、AIコンテキスト用のMarkdownとして保存するCLIツール

- Author: takemo-chan
- Repository: takemo101/dict-skills
- Version: 20260204125154
- Stars: 0
- Forks: 0
- Last Updated: 2026-02-06
- Source: https://github.com/takemo101/dict-skills
- Web: https://mule.run/skillshub/@@takemo101/dict-skills~link-crawler:20260204125154

---

---
name: link-crawler
description: 技術ドキュメントサイトをクロールし、AIコンテキスト用のMarkdownとして保存するCLIツール
---

# link-crawler

技術ドキュメントサイトをクロールし、AIコンテキスト用のMarkdownとして保存する pi スキル。

## セットアップ

### ワンコマンドセットアップ（推奨）

```bash
./install.sh
```

このスクリプトは以下を自動で行います：
- Bun/Node.jsの確認
- playwright-cliのインストール（必要な場合）
- 依存関係のインストール
- 動作確認

### 手動セットアップ

このスキルディレクトリに移動して依存関係をインストールします：

```bash
bun install
```

**前提条件**: [playwright-cli](https://www.npmjs.com/package/@playwright/cli) が必要: `npm install -g @playwright/cli`

## 基本的な使い方

```bash
bun run link-crawler/src/crawl.ts <url> [options]
```

### オプション一覧

#### クロール制御

| オプション | 短縮 | デフォルト | 説明 |
|-----------|------|-----------|------|
| `--depth <num>` | `-d` | `1` | 最大クロール深度（上限10） |
| `--delay <ms>` | | `500` | リクエスト間隔（ミリ秒） |
| `--timeout <sec>` | | `30` | リクエストタイムアウト（秒） |
| `--wait <ms>` | | `2000` | ページレンダリング待機時間（ミリ秒） |
| `--headed` | | `false` | ブラウザを表示（デバッグ用） |

#### スコープ制御

| オプション | デフォルト | 説明 |
|-----------|-----------|------|
| `--same-domain` | `true` | 同一ドメインのみクロール |
| `--no-same-domain` | | クロスドメインリンクも追跡 |
| `--include <pattern>` | | 含めるURLパターン（正規表現） |
| `--exclude <pattern>` | | 除外するURLパターン（正規表現） |

#### 差分クロール

| オプション | デフォルト | 説明 |
|-----------|-----------|------|
| `--diff` | `false` | 差分クロール（変更ページのみ更新） |

#### 出力制御

| オプション | 短縮 | デフォルト | 説明 |
|-----------|------|-----------|------|
| `--output <dir>` | `-o` | `./.context/<サイト名>/` | 出力ディレクトリ |
| `--no-pages` | | | ページ単位ファイル出力を無効化 |
| `--no-merge` | | | 結合ファイル(full.md)出力を無効化 |
| `--chunks` | | `false` | チャンク分割出力を有効化 |
| `--keep-session` | | `false` | デバッグ用に.playwright-cliディレクトリを保持 |

#### ヘルプ

| オプション | 短縮 | 説明 |
|-----------|------|------|
| `--help` | `-h` | ヘルプ表示 |
| `--version` | `-V` | バージョン表示 |

**詳細な仕様は [CLI仕様書](./docs/cli-spec.md) を参照してください。**

## piエージェントでの使用例

```bash
# Next.jsドキュメントをクロール
bun run src/crawl.ts https://nextjs.org/docs -d 2

# → .context/nextjs-docs/full.md が生成され、piエージェントのコンテキストとして利用可能
```

## 出力ファイル

クロール後、以下のファイルが生成されます：

| ファイル | 用途 |
|---------|------|
| `full.md` | 全ページ結合（AIコンテキスト用） |
| `chunks/*.md` | 見出しベース分割（`--chunks`有効時） |
| `pages/*.md` | ページ単位 |
| `index.json` | メタデータ・ハッシュ |

**詳細な仕様は [CLI仕様書](./docs/cli-spec.md) を参照してください。**

## 参考リンク

| ドキュメント | 内容 |
|-------------|------|
| [CLI仕様書](./docs/cli-spec.md) | 完全なオプション一覧・使用例・出力形式の詳細 |
| [設計書](./docs/design.md) | アーキテクチャ・データ構造・技術仕様 |