学术文献检索技能

概述

这是一个专注于学术文献检索的专业工具，集成了多个权威学术数据库，提供全面、快速、准确的文献检索服务。支持多数据库并发检索、高级过滤、智能排序和多种输出格式。

核心功能

🔍 强大的检索能力

• 多数据库集成：Semantic Scholar、Crossref、arXiv、PubMed
• 智能查询解析：自然语言、布尔运算、字段限定、短语搜索
• 并发检索：同时查询多个数据库，毫秒级响应
• 高级过滤：年份、引用数、期刊类型、开放获取、语言等

📖 高级检索特性

• 自然语言查询
• 布尔运算符 (AND, OR, NOT)
• 字段限定搜索 (title:, author:, year:)
• 范围搜索 (year:2020-2024, citations:>100)
• 通配符搜索

🎯 精准的结果处理

• 智能去重：基于DOI、标题、作者等多维度去重
• 多维度排序：引用数、年份、相关性、影响力、趋势
• 高级过滤：（期刊、开放获取、文献类型）
• 结果丰富：自动补充元数据、计算影响力指标
• 质量评分：综合评分系统，提供最佳结果

💬 丰富的输出格式

• Markdown：适合阅读和笔记
• JSON：适合程序处理
• CSV/Excel：适合数据分析和导入
• BibTeX/RIS：适合参考文献管理
• HTML/XML：适合网页展示和数据交换

⚡ 性能优化

• 多级缓存：内存、磁盘、分布式缓存
• 智能重试：自动处理速率限制和网络错误
• 渐进式加载：快速返回第一批结果
• 请求合并：减少API调用次数

支持的数据库

数据库	数据量	优势领域	速率限制
Semantic Scholar	2.33亿+	AI、计算机科学、多学科	100请求/5分钟（无认证）
Crossref	1.4亿+	期刊文章、官方DOI	无限制（礼貌使用）
arXiv	220万+	预印本、计算机、物理、数学	无限制
PubMed	3500万+	生物医学、生命科学	10请求/秒

使用示例

基本检索

from agent import AcademicLiteratureSearchSkill
import asyncio

async def main():
    skill = AcademicLiteratureSearchSkill()
    
    params = {
        "query": "deep learning in medical imaging",
        "databases": ["semantic_scholar"],
        "max_results": 10
    }
    
    result = await skill.execute(params)
    print(result["results"])

asyncio.run(main())

高级检索

params = {
    "query": "attention mechanism AND transformer",
    "databases": ["semantic_scholar", "crossref"],
    "year_range": "2020-2024",
    "max_results": 100,
    "sort_by": "citations",
    "min_citations": 50,
    "open_access_only": True,
    "output_format": "markdown"
}

作为库使用

from agent import LiteratureSearchEngine

async def search():
    async with LiteratureSearchEngine() as engine:
        papers = await engine.search(
            query="reinforcement learning",
            databases=["semantic_scholar", "arxiv"],
            max_results=20
        )
        for paper in papers:
            print(f"{paper.title} - {paper.citation_count} citations")

参数说明

查询参数

参数	类型	默认值	说明
query	string	必需	检索查询字符串
databases	array	["semantic_scholar", "crossref"]	使用的数据库列表
max_results	integer	50	最大返回数量 (1-1000)
year_range	string	-	年份范围，如 "2020-2024"
sort_by	string	"relevance"	排序方式
sort_order	string	"desc"	排序顺序 (asc/desc)
open_access_only	boolean	false	仅开放获取文献
min_citations	integer	-	最小引用数
venue_filter	array	-	期刊/会议过滤

输出参数

参数	类型	默认值	说明
output_format	string	"markdown"	输出格式
output_file	string	-	输出文件路径
interactive	boolean	false	交互式模式
verbose	boolean	false	详细输出
cache	boolean	true	启用缓存
save_results	boolean	false	保存结果到文件

配置说明

环境变量

# API 密钥（可选，不设置也可运行，但建议设置自己的密钥）
# 获取方式：
# - Semantic Scholar: https://www.semanticscholar.org/product/api
# - PubMed: https://www.ncbi.nlm.nih.gov/account/

SEMANTIC_SCHOLAR_API_KEY="your_key_here"
CROSSREF_API_EMAIL="your_email@example.com"
PUBMED_API_KEY="your_key_here"

配置文件

复制 config.example.yaml 为 config.yaml 并修改配置。

错误处理

• 网络错误：自动重试，提供降级方案
• API限制：智能退避，多API密钥轮换
• 无效查询：提供修正建议
• 无结果：提供扩展搜索建议

许可证

MIT License

安全与隐私

数据流向

• 检索查询会发送到第三方API：Semantic Scholar、Crossref、PubMed、arXiv
• 搜索关键词和论文元数据会被发送到这些服务

建议

• 使用虚拟环境运行：python -m venv venv && source venv/bin/activate
• 设置自己的 API 密钥以使用您的凭证
• 默认使用 openclaw@example.com 作为 Crossref 邮箱
• 缓存目录：~/.cache/openclaw/literature

隐私

• 如需高隐私保护，避免使用默认凭证
• 可在代码中审查网络请求目的地