LLMs.txt生成器

Firecrawl推出LLM.txt API：提供网址即可生成任意网站的LLM.txt

近日，Firecrawl 推出了一项全新的功能 ——LLMs.txt 生成器接口（Alpha 版），旨在帮助用户将任何网站的内容转化为清晰、适用于大语言模型(LLM)训练的文本文件。用户只需提供一个网站的 URL，Firecrawl 便会对该网站及其链接页面进行抓取，生成两种格式的文本文件:llms.txt 和 llms-full.txt，便于后续的分析和训练。该生成器的工作流程相对简单。