Llm

前言 这里我主要讲讲为什么我要折腾本地搭建，了解相关知识： 好玩 了解大语言模型在应用上的基础原理（基本不涉及Transformer这种底层原理，仅仅是应用上的），有利于我们更好地使用线上的模型 免费，且大多数方案开源。对于有需求有能力的人来说，可以魔改一些东西，来满足自己的特定化工作场景/工作流 可以离线使用，这里可说道的就多了：隐私、自由、厂商价格歧视、广告投放等等，这些东西仁者见仁，我不展开，仅引用网上的一小段评论: 首先本地模型有一个好处就是不会缩减算力，云端服务明显就是会随着新一代模型发布，把旧模型能力通过缩减算力的方法压缩成本，然后再逼你使用更贵的服务，（OpenAI为什么涨价涨的那么熟练啊，你究竟涨过多少次价啊 其次就是云端模型上限制比较多，我之前在几个云服务上翻译一个关于中国卫星产业链的外国智库报告，因为出现了几个国资委相关的关键字，基本上几个国内的模型都不敢翻译。 第三就是隐私相关了，公司的内部资料你肯定是不能用外部大模型的，只能用内部部署的模型。 另外本文也仅作为一个超入门级的介绍，并不涉及非常深入的东西，比如不涉及模型的微调和训练，也不涉及图像、视频等多模态的形式。对于其中一些具体的应用场景，也不会将所有的选项尽善尽美的列举（有问题请参照官方文档），旨在抛砖引玉，分享我所了解的，激发所有同好的创造力，互相学习。 声明 LLM及其应用绝对是生产力的突破 我可能字里行间也许会透露出一些看上去对AI持负面意见的内容，但其实我个人还是非常喜欢并拥抱AI带来的变化的，这玩意儿确实是10年来我感受到的真正的科技突破（比5G、VR、苹果的M芯片、TWS耳机等都更明显），大多数人应该也是类似的想法。正是因为对此抱有希望，并且非常重视LLM可能带的技术、社会、文化影响，我们才会去“苛求”LLM有更强的能力，所以还请不要误解我对AI的态度。 我用Trae/Cursor 「Vibe Code」一些个人用的小项目，我用GPT/Grok尝试做文生图做视频的封面，我用DeepSeek/Perplexity做搜索引擎等等。每一项都让我感受到，从2022年GPT3.5横空出世以来，LLM及其应用的高速发展为生产力提升带来了无法想象的提升空间。 我的负面意见与其说是针对LLM本身，倒不如说是针对一些hype，或者是一些蹭热度的行为。LLM的快速发展毫无疑问是人工智能的一次突破 一些梗（负面） Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity We conduct a randomized controlled trial (RCT) to understand how early-2025 AI tools affect the productivity of experienced open-source developers working on their own repositories. Surprisingly, we find that when developers use AI tools, they take 19% longer than without—AI makes them slower. We view this result as a snapshot of early-2025 AI capabilities in one relevant setting; as these systems continue to rapidly evolve, we plan on continuing to use this methodology to help estimate AI acceleration from AI R&D automation. ...