📗
Chap02. 大模型应用开发

用户7020

2025年3月14日修改

相信大家肯定会有疑问：

•
什么是大模型应用开发呢？​

•
跟传统的Java应用开发又有什么区别呢？​

•
我们该如何去开发大模型应用呢？​

别着急，本章我们就一起来分析一下。

1.
模型部署​

首先要明确一点：大模型应用开发并不是在浏览器中跟AI聊天。而是通过访问模型对外暴露的API接口，实现与大模型的交互。​

因此，企业首先需要有一个可访问的大模型，通常有三种选择：​

•
使用开放的大模型API​

•
在云平台部署私有大模型​

•
在本地服务器部署私有大模型​

使用开放大模型API的优缺点如下：

•
优点：​
◦
没有部署和维护成本，按调用收费​

•
缺点：​
◦
依赖平台方，稳定性差​
◦
长期使用成本较高​
◦
数据存储在第三方，有隐私和安全问题​

云平台部署私有模型：

•
优点：​
◦
前期投入成本低​
◦
部署和维护方便​
◦
网络延迟较低​

•
缺点：​
◦
数据存储在第三方，有隐私和安全问题​
◦
长期使用成本高​

本地部署私有模型：

•
优点：​
◦
数据完全自主掌控，安全性高​
◦
不依赖外部环境​
◦
虽然短期投入大，但长期来看成本会更低​

•
缺点：​
◦
初期部署成本高​
◦
维护困难​

❗

注意：

这里说的本地部署并不是说在你自己电脑上部署，而是公司自己的服务器部署。​

由于大模型所需要的算力非常多，自己电脑部署的模型往往都是阉割蒸馏版本，性能和推理能力都比较差。​

再加上现在各种模型都有很多免费的服务可以访问，性能还是满血版本，推理能力拉满。​

所以完全不建议大家在自己电脑上部署，除非你想自己做模型微调或测试。​