AI reads books：PDFをページ単位でAI解析し知識ベースを自動構築するPythonスクリプト完全ガイド

# read_books.py の設定例

# 処理対象のPDFファイル名（プロジェクトルートに置くか、パスを指定）
PDF_NAME = "my_book.pdf"

# ページ抽出モデル（各ページの知識ポイント抽出に使用）
MODEL = "gpt-4o"

# サマリー生成モデル（中間・最終サマリーに使用）
# 精度重視の場合は高性能モデルを使う
ANALYSIS_MODEL = "gpt-4o"

# 何ページおきに中間サマリーを生成するか（Noneで無効）
ANALYSIS_INTERVAL = 20

# テスト用：最初のN ページだけ処理（Noneで全ページ）
TEST_PAGES = None  # 本番: None / テスト: 10

# 出力ディレクトリの設定
KNOWLEDGE_DIR = "book_analysis/knowledge_bases"
SUMMARIES_DIR = "book_analysis/summaries"
PDFS_DIR = "book_analysis/pdfs"

# 知識ベースJSONからフラッシュカードを生成するカスタムスクリプト例
import json

with open("book_analysis/knowledge_bases/textbook_knowledge.json") as f:
    kb = json.load(f)

# 全定義をフラッシュカード形式で出力
flashcards = []
for page in kb["pages"]:
    for term, definition in page.get("key_definitions", {}).items():
        flashcards.append({
            "front": f"用語: {term}",
            "back": definition,
            "source": f"p.{page['page_number']}"
        })

# CSVで保存（Ankiインポート用）
import csv
with open("flashcards.csv", "w", newline="", encoding="utf-8") as f:
    writer = csv.DictWriter(f, fieldnames=["front", "back", "source"])
    writer.writerows(flashcards)

print(f"{len(flashcards)}枚のフラッシュカードを生成しました")

from langchain.schema import Document
from langchain_openai import ChatOpenAI
from langchain.chains import RetrievalQA
import json

# 知識ベースJSONをLangChain Documentに変換
with open("book_analysis/knowledge_bases/book_knowledge.json") as f:
    kb = json.load(f)

docs = []
for page in kb["pages"]:
    content = f"""
ページ {page['page_number']}
メインコンセプト: {', '.join(page.get('main_concepts', []))}
知識ポイント: {chr(10).join(page.get('knowledge_points', []))}
"""
    docs.append(Document(
        page_content=content,
        metadata={"page": page["page_number"], "source": kb["book"]}
    ))

print(f"{len(docs)}ページ分のDocumentを作成しました")

# コスト最適化設定例
PDF_NAME = "textbook.pdf"

# ページ分析は軽量モデルで高速・安価に
MODEL = "gpt-4o-mini"

# サマリー生成は高品質モデルで精度を上げる
ANALYSIS_MODEL = "gpt-4o"

# サマリー頻度を下げてコスト削減（50ページに1回）
ANALYSIS_INTERVAL = 50

# 最初は10ページでテスト
TEST_PAGES = 10

# read_books.py の改変例（Ollama使用）
from openai import OpenAI

# Ollama の OpenAI互換エンドポイントを使用
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",  # Ollamaはダミーキーを受け付ける
)

MODEL = "qwen2.5:14b"          # 日本語品質が高い14Bモデル
ANALYSIS_MODEL = "qwen2.5:14b" # サマリー生成も同じモデル

# search_knowledge.py：知識ベースをキーワード検索するユーティリティ
import json
import sys
from pathlib import Path

def search_knowledge_base(kb_path: str, query: str) -> list[dict]:
    """知識ベースJSONをキーワードで検索する"""
    with open(kb_path, encoding='utf-8') as f:
        kb = json.load(f)
    
    results = []
    query_lower = query.lower()
    
    for page in kb.get("pages", []):
        page_num = page.get("page_number", 0)
        
        # 知識ポイントの検索
        for point in page.get("knowledge_points", []):
            if query_lower in point.lower():
                results.append({
                    "page": page_num,
                    "type": "knowledge_point",
                    "content": point
                })
        
        # 定義の検索
        for term, definition in page.get("key_definitions", {}).items():
            if query_lower in term.lower() or query_lower in definition.lower():
                results.append({
                    "page": page_num,
                    "type": "definition",
                    "term": term,
                    "content": definition
                })
    
    return results

if __name__ == "__main__":
    kb_file = sys.argv[1]
    query = sys.argv[2]
    results = search_knowledge_base(kb_file, query)
    
    print(f"「{query}」の検索結果: {len(results)}件\n")
    for r in results:
        print(f"[p.{r['page']}] {r['content'][:100]}...")

# merge_knowledge.py：複数の知識ベースを統合する
import json
import glob
from pathlib import Path

def merge_knowledge_bases(kb_dir: str, output_path: str):
    """複数の知識ベースJSONを統合する"""
    merged = {
        "source_files": [],
        "total_pages": 0,
        "pages": []
    }
    
    for kb_file in glob.glob(f"{kb_dir}/*.json"):
        with open(kb_file, encoding='utf-8') as f:
            kb = json.load(f)
        
        source = kb.get("book", Path(kb_file).stem)
        merged["source_files"].append(source)
        merged["total_pages"] += kb.get("total_pages", 0)
        
        # ページデータに出典情報を追加
        for page in kb.get("pages", []):
            page_with_source = {**page, "source_file": source}
            merged["pages"].append(page_with_source)
    
    with open(output_path, 'w', encoding='utf-8') as f:
        json.dump(merged, f, ensure_ascii=False, indent=2)
    
    print(f"{len(merged['source_files'])}ファイル、{merged['total_pages']}ページを統合しました")

merge_knowledge_bases("book_analysis/knowledge_bases", "merged_knowledge.json")