Trình tạo llms.txt
Dán URL, lấy nội dung qua proxy CORS, tạo llms.txt hoặc llms-full.txt
llms.txt là gì?
llms.txt là một tệp văn bản định dạng Markdown đặt trong thư mục gốc của trang web (tương tự robots.txt), được thiết kế dành riêng cho các mô hình ngôn ngữ lớn (LLM) và trình thu thập dữ liệu AI. Nó tổng hợp thông tin cốt lõi và liên kết trang của trang web một cách có cấu trúc và dễ đọc, giúp các hệ thống AI như ChatGPT, Claude, Perplexity nhanh chóng hiểu cấu trúc nội dung và mục đích của trang web.
Tiêu chuẩn này được Jeremy Howard từ Answer.AI đề xuất vào năm 2024, với mục tiêu cung cấp một 'hướng dẫn sử dụng trang web' chuẩn hóa cho kỷ nguyên AI.
- Bao gồm tên trang web, mô tả một câu
- Liệt kê liên kết và tóm tắt tất cả các trang quan trọng
- Kích thước nhỏ, AI có thể đọc hoàn toàn trong cửa sổ context
- Phù hợp với hầu hết các trang web trong sử dụng hàng ngày
- Bao gồm nội dung Markdown đầy đủ của mỗi trang
- AI có thể lấy toàn bộ thông tin mà không cần truy cập trang gốc
- Kích thước lớn, phù hợp với các trang web có ít nội dung hoặc trang tài liệu
- Phù hợp với các tình huống muốn AI hiểu sâu từng chi tiết trang
Có tác dụng gì?
🔍 Tăng khả năng hiển thị tìm kiếm AI
Khi người dùng đặt câu hỏi trên các công cụ tìm kiếm AI như ChatGPT, Perplexity, llms.txt giúp AI hiểu chính xác hơn và trích dẫn nội dung trang web của bạn.
⚡ Giảm chi phí thu thập dữ liệu
Trình thu thập dữ liệu AI không cần phân tích HTML từng trang, đọc trực tiếp Markdown có cấu trúc, giảm tải máy chủ và tăng hiệu quả lập chỉ mục.
📋 Điểm vào nội dung thống nhất
Cung cấp điểm vào nội dung chuẩn hóa cho AI Agent, hệ thống RAG, dễ dàng tích hợp vào các luồng công việc AI khác nhau.
Mẹo sử dụng:Sau khi tạo, tải tệp llms.txt lên thư mục gốc của trang web (ví dụ: https://yoursite.com/llms.txt) và thêm Sitemap: /llms.txt vào robots.txt để tăng khả năng khám phá. Khuyến nghị cập nhật tệp này khi nội dung trang web thay đổi.
