URL（Uniform Resource Locator）の変換を次のように行ってください：
https://anakin.ai/apps/keyword
または
https://anakin.ai/blog/keyword
↓
https://anakin.ai/ja-jp/apps/keyword
https://anakin.ai/ja-jp/blog/keyword
以下はHTMLコードです：
LangChainは、言語モデルを活用したアプリケーションの開発に役立つ強力なフレームワークです。その主な機能の1つは、さまざまなタイプのドキュメントをロードして処理する能力であり、質問応答、要約、情報検索などのタスクには欠かせません。この包括的なガイドでは、LangChainドキュメントローダーを使用して、さまざまなファイル形式とデータソースで作業する方法を探ります。
LangChainドキュメントローダーは、さまざまなソースからのデータを取り込んで、言語モデルが簡単に使用できる形式に変換するために設計されています。これらのローダーは、CSV、HTML、JSON、Markdown、PDF、Microsoft Officeドキュメントなど、さまざまな種類のファイルをサポートしています。
特定のローダーに進む前に、環境をセットアップしましょう：
pip install langchainそれでは、LangChainで異なるドキュメントローダーを使用する方法を見ていきましょう。
カンマ区切り値（CSV）ファイルは、表形式のデータを保存するためによく使用されます。LangChainでは、CSVファイルを簡単に扱うためのCSVLoaderが提供されています。
CSVLoaderの使用方法は次のとおりです：
from langchain.document_loaders import CSVLoader
# ローダーを初期化する
loader = CSVLoader(file_path="path/to/your/file.csv")
# ドキュメントをロードする
documents = loader.load()
# 最初のドキュメントを表示する
print(documents[0].page_content)
デフォルトでは、CSVファイルの各行が個別のドキュメントになります。各ドキュメントのコンテンツは、行のキーと値のペアの文字列表現です。
追加の引数を渡すことで、CSVのパース方法をカスタマイズすることができます：
loader = CSVLoader(
file_path="path/to/your/file.csv",
csv_args={
"delimiter": ",",
"quotechar": '"',
"fieldnames": ["column1", "column2", "column3"]
}
)
これにより、区切り文字、引用符、列名を明示的に指定することができます。
HTMLコンテンツのロードには、LangChainでは複数のオプションが用意されています。人気のある2つのオプション、UnstructuredHTMLLoaderとBSHTMLLoaderを見てみましょう。
このローダーは、Unstructuredライブラリを使用してHTMLをパースします：
from langchain.document_loaders import UnstructuredHTMLLoader
loader = UnstructuredHTMLLoader("path/to/your/file.html")
data = loader.load()
print(data[0].page_content[:300])
BSHTMLLoaderは、Beautiful Soupを使用してHTMLをパースします：
from langchain.document_loaders import BSHTMLLoader
loader = BSHTMLLoader("path/to/your/file.html")
data = loader.load()
print(data[0].page_content[:300])
BSHTMLLoaderはテキストコンテンツを抽出し、ページのタイトルをメタデータに保存します。
JSON（JavaScript Object Notation）は、人気のあるデータ形式です。LangChainは、JSONファイルを扱うためのJSONLoaderを提供しています。
JSONLoaderの単純な使用例は次のとおりです：
from langchain.document_loaders import JSONLoader
import json
# サンプルのJSONデータ
data = [
{"text": "Hello, world!", "number": 42},
{"text": "LangChain is awesome", "number": 100}
]
# JSONをファイルに書き込む
with open("sample.json", "w") as f:
json.dump(data, f)
# ローダーを初期化して使用する
loader = JSONLoader(
file_path="sample.json",
jq_schema='.[]',
text_content=False
)
documents = loader.load()
for doc in documents:
print(doc.page_content)
print(doc.metadata)
print("---")
この例では、JSON配列内の各オブジェクトを個別のドキュメントとしてロードしています。
JQのようなスキーマを使用して特定のフィールドを抽出できます：
loader = JSONLoader(
file_path="sample.json",
jq_schema='.[] | {text: .text, number: .number}',
text_content=False
)
これにより、各オブジェクトから「text」と「number」フィールドのみを抽出できます。
Markdownは、ドキュメント作成によく使用される軽量のマークアップ言語です。LangChainでは、Markdownファイルを扱うためのUnstructuredMarkdownLoaderが提供されています。
UnstructuredMarkdownLoaderの使用方法は次のとおりです：
from langchain.document_loaders import UnstructuredMarkdownLoader
loader = UnstructuredMarkdownLoader("path/to/your/file.md")
data = loader.load()
print(data[0].page_content[:300])
このローダーはMarkdownコンテンツをパースし、一部の構造を保持したテキストを抽出します。
元のMarkdownの要素を保持したい場合は、「要素」モードを使用できます：
loader = UnstructuredMarkdownLoader("path/to/your/file.md", mode="elements")
data = loader.load()
for doc in data:
print(doc.metadata['category'])
print(doc.page_content[:100])
print("---")
これにより、Markdownコンテンツが異なる要素（タイトル、説明文など）に分割され、メタデータに保持されます。
LangChainでは、Word、Excel、PowerPointファイルなど、Microsoft Officeドキュメントの読み込みをサポートしています。
Wordドキュメントの場合、Docx2txtLoaderを使用できます：
from langchain.document_loaders import Docx2txtLoader
loader = Docx2txtLoader("path/to/your/document.docx")
data = loader.load()
print(data[0].page_content[:300])
Excelファイルの場合、UnstructuredExcelLoaderを使用できます：
from langchain.document_loaders import UnstructuredExcelLoader
loader = UnstructuredExcelLoader("path/to/your/spreadsheet.xlsx")
data = loader.load()
print(data[0].page_content[:300])
PowerPointプレゼンテーションの場合、UnstructuredPowerPointLoaderを使用できます：
from langchain.document_loaders import UnstructuredPowerPointLoader
loader = UnstructuredPowerPointLoader("path/to/your/presentation.pptx")
data = loader.load()
print(data[0].page_content[:300])
PDFドキュメントは、フォーマットされたドキュメントを共有するために広く使用されています。LangChainでは、PyPDFLoaderやUnstructuredPDFLoaderなど、さまざまなPDFの読み込みオプションが提供されています。
PyPDFLoaderの使用方法は次のとおりです：
from langchain.document_loaders import PyPDFLoader
loader = PyPDFLoader("path/to/your/file.pdf")
pages = loader.load_and_split()
for page in pages[:2]: # 最初の2ページのコンテンツを表示
print(page.page_content[:300])
print("---")
このローダーはPDFの各ページを個別のドキュメントとして作成します。
UnstructuredPDFLoaderでは、さまざまな要素の抽出など、より高度なパース機能が提供されています：
from langchain.document_loaders import UnstructuredPDFLoader
loader = UnstructuredPDFLoader("path/to/your/file.pdf", mode="elements")
data = loader.load()
for element in data[:5]: # 最初の5つの要素を表示
print(f"Type: {element.metadata['category']}")
print(element.page_content[:100])
print("---")
このローダーは、タイトル、テキストブロック、テーブルなど、PDFからさまざまな要素を抽出することができます。
さまざまなドキュメントローダーの基本をカバーしたので、ドキュメント処理機能を強化するいくつかの高度なテクニックを見てみましょう。
複数のソースや形式からドキュメントをロードする必要がある場合、LangChainではDirectoryLoaderを使用することで簡単に実現できます：
from langchain.document_loaders import DirectoryLoader, TextLoader, PDFLoader, CSVLoader
loader = DirectoryLoader(
'path/to/directory',
glob="**/*",
loader_cls={
".txt": TextLoader,
".pdf": PDFLoader,
".csv": CSVLoader
}
)
documents = loader.load()
このローダーは指定したディレクトリを再帰的に検索し、各ファイルタイプに適したローダーを使用します。
長いドキュメントの場合、それをより小さなチャンクに分割することがしばしば役立ちます。LangChainでは、さまざまなテキスト分割方法が提供されています：
from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=1000,
chunk_overlap=200
)
split_docs = text_splitter.split_documents(documents)
これにより、ドキュメントが約1000文字のチャンクに分割され、チャンク間には200文字のオーバーラップが生じます。
ドキュメントのメタデータを追加または変更することができます：
from langchain.schema import Document
def add_source_to_metadata(doc):
return Document(
page_content=doc.page_content,
metadata={**doc.metadata, "source": "custom_source"}
)
processed_docs = [add_source_to_metadata(doc) for doc in documents]
これにより、各ドキュメントのメタデータに「source」フィールドが追加されます。
LangChainドキュメントローダーは、さまざまな種類のドキュメントを言語モデルアプリケーションに取り込むための強力で柔軟な方法を提供しています。これらのローダーを効果的に使用する方法を理解することで、さまざまなデータソースを処理し分析することができる、より堅牢で多機能なAIパワードシステムを構築することができます。
常に最新情報や追加機能についてのLangChainドキュメントを確認するようにしてください。これらのローダーに慣れるにつれて、より複雑なドキュメント処理タスクを処理し、より洗練されたAIアプリケーションを作成することができるようになるでしょう。
