本章用来写《大模型应用开发实战》阅读笔记.
Q1：如何评估我的应用？
要制定一个成功标准，产品做到什么地步算成功？成本可以从三个方面具体衡量：质量指标、延迟指标（包括TTFT（time to first token，首个token响应时间）、TPOT（time per output token，每个输出token响应时间）和总延迟）、成本指标（花费）
要根据成功标准，制定对应的里程碑计划，并且可能需要动态调整。
随着AI技术迭代，产品还可能面临维护问题，还需随时间推移考虑可能发生的变化。
Q2：能否使用AI来评估AI的输出？
Q3：什么导致出现了幻觉（hallucination）？
1.大模型把用户的输入的token和自己生成的token混淆了。 2.行为克隆校准失效，标注员的知识与大模型的知识不匹配，模型强行回答导致幻觉。 现实情况往往存在多种因素叠加，并非单一原因。
Q4：如何检测和缓解幻觉问题？
Q5：提示工程（prompt engineering）的最佳实践是什么？
Q6：为什么RAG有效？
Q7：有哪些实施RAG的策略？
Q8：什么是智能体（agent）？
Q9：如何构建和评估智能体？
Q10：什么时候应该微调（finetune）模型？
Q11：什么时候不应该微调模型？我需要多少数据？
Q12：如何验证数据的质量？
Q13：如何让我的模型更快、更便宜、更安全？
Q14：如何构建反馈循环，不断改进我的应用？