●项目目的是开发一款能根据日记内容生成相关情境的图片的安卓App。
●开发了微信小程序端的应用收集用户的日记数据;设计并实现了基于BERT模型的情感分析算法;设计并实现了基于检索增强生成的日记问答系统。
(1)基于检索增强生成的日记问答系统:使用RAG技术让大语言模型参考本地日记资料进行问题的回答。本地日记资料的生成方式分为文本和图片两部分。文本内容直接向量化加入向量库。图片先经过ViT-GPT2结构的图像描述模型生成初步的描述内容,再通过大语言模型基于日记内容进行润色得到最终的描述内容,最后向量化存入向量库。