比谷歌更好 的多媒体问答与电气工程搜索系统 我们在HuggingFace上上线了：👉 https://huggingface.co/spaces/kastan/ai-teaching-assistant 👈 系统图 我们的系统并行运行11个独立模型，以实现文本/图像检索、生成、审查和排名，并且仍然能够实现中位数2秒的响应时间。 数据 我们使用来自教科书、讲座视频和学生问答论坛的数据（根据重要性主观排序）。目前这些数据都没有公开可用，因为这个项目没有获得作者的批准。 RLHF 我最喜欢的贡献是RLHF期间语义检索的创新方法，使用我通过雇佣五名电气工程学生逐步产生的数据集。该数据可以在Huggingface上免费获取，链接是：https://huggingface.co/datasets/kastan/rlhf-qa-comparisons。我们特别涵盖了UIUC课程ECE 120电气工程导论中所需的材料。 评估 我们这里有很多模型。为了评估哪些模型有帮助，哪些模型有害，每次我们推出新功能时都会重新运行此评估。我们的QA对的数据集是内部生成的，由专家电气工程师编写。使用这些问题，我们用每个模型生成答案。最后，我们询问GPT-3生成的答案是否比人类编写的真实答案“更好”或“更差”。 一个限制是GPT-3自我评估。GPT-3几乎总是认为自己很出色，这可能不真实也是这种评估方法的一个限制。也许我们应该用Cohere的模型进行相同的评估进行比较。尽管如此，迭代评估对于确保我们的新功能改善了系统至关重要。完整评估结果请见此处。评估代码请见此处。 使用 本项目是完全开放源代码的，商业教科书除外。我强烈建议您直接使用您自己的Pinecone文档数据库并在您的工作中使用它！ 🚀 安装Python要求 # 在python 3.8上测试过 pip install -r requirements.txt API密钥 我们依赖于在run_ta_gradio.sh中列出的这些API。确保添加您自己的😄 检索增强生成的文档存储 只需构建自己的Pinecone文档数据库。我们开源了用于此的脚本，其中我们的源材料为PDF或纯文本格式，讲座幻灯片为.jpg图像（偷偷从.pptx中导出）。 数据清理工具： 从教科书PDF到Pinecone数据库 从视频转录（Whisper提供）到Pinecone 你就完成了！现在可以运行应用程序🎉 # 运行网络应用！ bash run_ta_gradio.sh 文件 main.py : 我们多个LLM实现的主要聚合器。 TA_gradio_ux.py : 定义Gradio用户体验，并调用main.py中定义的模型。 prompting.py : 我们的提示工程存储。 evaluation.py : 运行GPT-3驱动的系统评估。我们定期运行此程序以确定每个新增功能是否使响应“更好”或“更差”。 feedback.json : 通过Gradio网页应用收集的真实用户反馈。 run_ta_gradio.sh : 入口启动脚本。