LightRAGは、香港大学データサイエンス学院（HKUDS）が開発した「シンプルかつ高速な検索拡張生成」フレームワークです。このプロジェクトは、開発者向けに、ドキュメントインデックス、知識グラフ構築、およびインテリジェントな質問応答機能をサポートする、完全なRAG（Retrieval-Augmented Generation）ソリューションを提供することを目的としています。
LightRAGは、さまざまなシナリオのニーズを満たすために、5つの異なる検索モードをサポートしています。
pip install "lightrag-hku[api]"
# Python仮想環境の作成（必要に応じて）
# 編集可能なモードでインストール、APIサポートを含む
pip install -e ".[api]"
import os
import asyncio
from lightrag import LightRAG, QueryParam
from lightrag.llm.openai import gpt_4o_mini_complete, openai_embed
from lightrag.kg.shared_storage import initialize_pipeline_status
from lightrag.utils import setup_logger
setup_logger("lightrag", level="INFO")
async def initialize_rag():
rag = LightRAG(
working_dir="your/path",
embedding_func=openai_embed,
llm_model_func=gpt_4o_mini_complete
)
await rag.initialize_storages()
await initialize_pipeline_status()
return rag
def main():
rag = asyncio.run(initialize_rag())
rag.insert("Your text")
result = rag.query(
"What are the top themes in this story?",
param=QueryParam(mode="mix")
)
print(result)
if __name__ == "__main__":
main()
# Create conversation history
conversation_history = [
{"role": "user", "content": "What is the main character's attitude towards Christmas?"},
{"role": "assistant", "content": "At the beginning of the story, Ebenezer Scrooge has a very negative attitude towards Christmas..."},
{"role": "user", "content": "How does his attitude change?"}
]
# Create query parameters with conversation history
query_param = QueryParam(
mode="mix", # or any other mode: "local", "global", "hybrid"
conversation_history=conversation_history, # Add the conversation history
history_turns=3 # Number of recent conversation turns to consider
)
# Make a query that takes into account the conversation history
response = rag.query(
"What causes this change in his character?",
param=query_param
)
# Create new entity
entity = rag.create_entity("Google", {
"description": "Google is a multinational technology company specializing in internet-related services and products.",
"entity_type": "company"
})
# Create another entity
product = rag.create_entity("Gmail", {
"description": "Gmail is an email service developed by Google.",
"entity_type": "product"
})
# Create relation between entities
relation = rag.create_relation("Google", "Gmail", {
"description": "Google develops and operates Gmail.",
"keywords": "develops operates service",
"weight": 2.0
})
LightRAG Serverは、以下の機能を含む完全なWebインターフェースを提供します。
working_dir: 作業ディレクトリのパスembedding_func: 埋め込み関数llm_model_func: 大規模言語モデル関数vector_storage: ベクトルストレージのタイプgraph_storage: グラフストレージのタイプembedding_batch_size: 埋め込みバッチサイズ（デフォルト32）embedding_func_max_async: 最大同時埋め込みプロセス数（デフォルト16）llm_model_max_async: 最大同時LLMプロセス数（デフォルト4）enable_llm_cache: LLMキャッシュを有効にするかどうか（デフォルトTrue）さまざまな形式でのデータエクスポートをサポートします。
#Export data in CSV format
rag.export_data("graph_data.csv", file_format="csv")
# Export data in Excel sheet
rag.export_data("graph_data.xlsx", file_format="excel")
# Export data in markdown format
rag.export_data("graph_data.md", file_format="md")
# Export data in Text
rag.export_data("graph_data.txt", file_format="txt")
組み込みのToken消費量監視ツール：
from lightrag.utils import TokenTracker
# Create TokenTracker instance
token_tracker = TokenTracker()
# Method 1: Using context manager (Recommended)
# Suitable for scenarios requiring automatic token usage tracking
with token_tracker:
result1 = await llm_model_func("your question 1")
result2 = await llm_model_func("your question 2")
# Method 2: Manually adding token usage records
# Suitable for scenarios requiring more granular control over token statistics
token_tracker.reset()
rag.insert()
rag.query("your question 1", param=QueryParam(mode="naive"))
rag.query("your question 2", param=QueryParam(mode="mix"))
# Display total token usage (including insert and query operations)
print("Token usage:", token_tracker.get_usage())
LightRAGは、機能が充実し、使いやすいRAGフレームワークであり、特にインテリジェントな質問応答システムと知識管理プラットフォームを構築する必要があるシナリオに適しています。その柔軟なアーキテクチャ設計と豊富な機能特性により、RAG分野における優れたオープンソースソリューションとなっています。