新篇章：大模型技术的实践与探索
随着人工智能技术的发展，大型语言模型 (LLM/LMM) 已经成为一个重要的研究方向。LLM 在自然语言处理、代码生成、文本摘要、机器翻译等领域展现出巨大的潜力，为各行各业带来了新的可能性。
这是2023年以来第三个主要更新版本

by 敏 吴

目录
概览
我们将深入探讨大模型技术的演进历程，从参数规模到计算力发展，再到模型架构的创新和优化，全面了解这一领域的突破性进展。
产品与工具
我们将重点介绍各种基于大模型技术的产品和工具，涵盖了文本生成、代码编写、信息检索等多个应用领域，并深入分析其特点和应用场景。
提示词的使用
掌握提示词的技巧是有效使用大模型的关键。我们将深入探讨如何设计有效的提示词，以获得最佳的模型输出，并提高工作效率。
概述
人工智能技术正以前所未有的速度发展，其中大型语言模型（LLM）扮演着越来越重要的角色。LLM凭借其强大的能力，正在改变着各行各业的面貌，从自然语言处理到代码生成，再到艺术创作。本文将深入探讨LLM的最新进展，以及它如何改变我们的生活和工作方式。
大模型参数与人的神经元
人脑拥有庞大的神经网络，包含100万亿数量级的突触，这些突触相当于神经元之间的连接点，可以看作是人脑的参数。而GPT-4拥有1.8万亿个参数，这使得它能够处理更复杂的任务，并展现出更强大的能力。
虽然GPT-4的参数量远低于人脑，但随着技术的进步，大模型的参数量将继续增加，并有可能在未来超越人脑。
人脑的复杂性和多样性远超现阶段的大模型，但随着人工智能技术的快速发展，未来大模型可能会在某些方面超越人类。
计算力的飞速发展
随着GPU、TPU等专用芯片的出现和算力的大幅提升，训练大规模神经网络模型成为可能。
这些芯片专门为矩阵运算和并行处理而设计，可以显著提高训练速度和效率，推动了大模型的快速发展。
大规模训练数据的积累
互联网数据
互联网的快速发展带来了海量文本、图像、音视频数据，为大模型的训练提供了丰富的素材。
预训练方法
大规模无标注数据的预训练是当前主流大模型的训练方法，这些数据为模型提供了丰富的知识和语义理解能力。
模型架构的创新和优化
神经网络结构的创新
Transformer等新的神经网络结构的提出，极大地提升了模型的表达能力和训练效率。
训练技巧的优化
各种训练技巧如Mixed-precision training、DeepSpeed等也助力了大模型的训练。
ChatGPT 的增长
ChatGPT的崛起
ChatGPT由OpenAI开发,自2022年11月发布以来迅速成为最受欢迎的AI应用之一,用户数量和互动量呈指数级增长。
ChatGPT的增长速度正在放缓
大模型的应用场景
智能城市
大模型可以为智能城市提供强大的数据分析和预测能力，优化交通管理、资源分配、公共安全等城市服务，提升城市效率和居民生活质量。
医疗健康
大模型可用于辅助疾病诊断、药物研发、个性化治疗方案制定等，提高医疗效率和精度，为患者提供更精准、更有效的医疗服务。
教育领域
大模型可以为学生提供个性化学习内容、智能辅导、自动批改作业等，帮助学生更好地学习和理解知识，提升学习效率和效果。
AI取代人类的级别
AI取代人类是一个复杂的过程，不同级别对应不同的容错率和应用场景。目前，AI主要处于辅助人类的角色，需要一定程度的人工干预。随着AI技术的不断发展，AI在未来有可能在某些领域完全取代人类，但需要克服技术和伦理方面的挑战。
产品与工具
强大的工具
从文本生成到代码创作，大型语言模型正迅速成为各种工具的核心。
数据分析
通过分析海量数据，LLM可以帮助我们更深入地理解各种现象。
内容创作
从诗歌到剧本，LLM可以协助我们完成各种形式的创作。
交互体验
通过自然语言交互，LLM为我们带来了更人性化的体验。
国内LLM发展现状
快速进步
国内LLM发展势头迅猛，众多科技公司和研究机构积极投入研发，取得了显著进展。
例如，百度文心一言、阿里通义千问等模型在中文语义理解和生成方面表现出色。
能力差距
目前，国内LLM与GPT-4等领先模型相比，在技术水平和应用场景方面仍存在差距。
尤其在推理、逻辑和代码生成等方面，国内模型需要进一步提升。
使用Claude 3.5和GPT-4(o)

1

免费账户
注册一个免费账户即可开始使用GPT-4，享受其强大的功能。

2

Claude 3.5
比GPT-4(o)在论文、编程和数学这些强逻辑上的表现更优于GPT-4o

3

多种应用
适用于多种应用场景，包括文本生成、代码编写、翻译、问答等。

4

持续学习
是多模态模型，对于看不懂的数学公式，可以让LLM为你解释
看课本、看论文、写作业
快速理解论文
大型语言模型可以帮助你快速理解论文的重点内容，提取关键信息和结论。
辅助写作
大型语言模型可以帮助你生成论文摘要、引言、结论等部分，提高写作效率。
总结与表达
大型语言模型可以帮助你总结论文内容，并用简洁明了的语言进行表达。
写/review 论文 专利(Latex /Markdown)
GPT-4 能够帮助您更有效地写作和审查论文或专利。它可以生成高质量的学术文章，包括引言、方法、结果和讨论部分。此外，它可以帮助您改进您的写作风格，并避免常见的语法错误。
通过使用 GPT-4，您可以节省大量时间和精力，并专注于更重要的任务，例如研究和实验。
生成流程图
大模型可以生成流程图，帮助您可视化任务和工作流程。您可以用自然语言描述您的流程，大模型会生成清晰的流程图，包含不同的步骤和连接线。
例如，您想创建一个网站，您可以描述网站开发流程，大模型会根据您的描述生成一个包含需求分析、设计、开发、测试和部署等步骤的流程图。
Claude3.5
文字撰写能力
Claude3 .5 在文字撰写方面表现出色，其深度甚至超过了 GPT-4。在项目申请书、论文、专利草稿等方面，Claude3.5 可以与 GPT-4 协同合作，大幅提升效率。
多模态图片识别能力
Claude3.5 还具备多模态图片识别能力，识别率较高。但在中文识别方面，尚存在一些问题，需要进一步优化。
辅助编程 GPT4 Code Interpreter
辅助编程 Claude 3.5 Artifact
Dify (或者coze)
快速原型开发
Dify 是一个强大的平台，可以帮助用户快速构建和部署 AI 应用程序。 它提供了各种预先构建的模型和工具，可以帮助用户轻松地创建自己的应用程序。 Dify 的易用性使其成为希望快速创建 AI 原型的个人和团队的理想选择。
功能
Dify 平台提供了广泛的功能，包括：预先构建的 AI 模型，可用于各种应用程序，例如自然语言处理，图像识别和机器学习。 用户友好的界面，使创建和部署应用程序变得容易，无需编码经验。 强大的分析功能，帮助用户跟踪应用程序的性能并对其进行改进。
辅助编程 Cursor + Github Copilot
DeepSeek / Code

1

1. 国产
DeepSeek 和 Code 都是国产的，这代表着国内在大型语言模型领域取得了重大进步，也为国内人工智能产业的发展提供了新的动力。

2

2. 能力比较强
DeepSeek 和 Code 在代码生成、文本创作、知识问答等方面都展现出了强大的能力，为用户提供了更加便捷高效的工具。

3

3. 价格非常便宜
DeepSeek 和 Code 的价格相对较低，这意味着更多的用户可以体验到大型语言模型的强大功能，并将其应用于各种领域。
如何配置 DeepSeek (自己动手)

www.deepseek.com

Loading...

DeepSeek的免费量、性能对于同学都比较友好
每月花费~2元
如何配置 Cursor + DeepSeek (自己动手)
简单易用
OpenRouter 提供了简单易用的界面，只需一张双币信用卡，就可以轻松开始使用。
强大的功能
OpenRouter 支持多种加密货币，可以方便地进行跨链交易和资产管理。
OpenRouter 还提供了丰富的交易工具，帮助用户更好地管理风险和收益。
Kimi (自己动手）
中国公司
Kimi 是由中国公司 Moonshot 研发的。他们的目标是打造世界领先的大模型技术，为全球用户提供高质量的 AI 服务。
强大功能
Kimi 允许用户输入大量文本，支持数十万字的输入窗口。这使其成为处理长篇内容的强大工具。
免费使用
目前，Kimi 是完全免费使用的。这使得每个人都可以访问并体验其强大的功能。
Bing.ai
Bing+GPT4
Bing.ai 将 GPT-4 集成到其搜索引擎中，提供更强大的内容生成能力。
中英文输入
Bing.ai 支持中英文输入，方便用户进行多语言的交互和信息获取。
知乎、英文材料
Bing.ai 能够理解和处理多种类型的文本，包括知乎内容和英文材料。
应用场景
目前，在某些场景下，Kimi 比 Bing.ai 更实用，例如，复杂问题解答和创意生成。
Gemini: Google 的新一代大型语言模型

1

1. 强大的功能
Gemini 是 Google 的最新一代大型语言模型，拥有强大的功能，超越了之前的 Bard 和 LaMDA。

2

2. 多模式能力
Gemini 不仅仅局限于文本，还具备处理图像、视频和音频的能力，使其在多模态任务中表现出色。

3

3. 广阔的应用前景
Gemini 在各种领域具有广泛的应用前景，包括自然语言处理、机器学习、计算机视觉等等。

4

4. 探索和研究
随着 Gemini 的发展，人工智能技术将进一步突破，为未来带来更多可能性。
Txyz.ai

读论文
Txyz.ai 可以帮助您更深入地理解论文，提取关键信息，并生成总结。它能够分析论文的结构、内容和参考文献，帮助您快速掌握论文的核心内容。

Kimi + GPT-4o
Txyz.ai 结合了 Kimi 的语义理解能力和 GPT-4o 的生成能力，实现更强大的论文阅读和写作功能。它能够帮助您进行论文的批注、翻译、改写和润色，提高您的科研效率。
GitHub Copilot / Cursor
代码辅助神器
GitHub Copilot 和 Cursor 是强大的代码辅助工具，利用人工智能技术帮助开发者更快、更高效地编写代码。它们可以根据上下文和代码库提供智能代码建议，提高开发效率。
订阅方式
GitHub Copilot 和 Cursor 都提供订阅服务，价格约为 100 美元/年。这些订阅服务为用户提供了访问最新的 AI 功能和持续更新的代码模型，帮助他们保持代码质量和效率。
提示词的使用
提示词是与大型语言模型交互的关键，决定了模型的输出质量。
精心设计的提示词能够引导模型生成更符合预期、更具创造性的内容。
关于应用开发
开发基于大语言模型的应用程序涉及多个关键环节，从选择合适的模型到设计用户交互界面，都需要仔细考虑。
应用程序开发通常需要与其他技术栈整合，例如数据库、云计算平台等，以实现完整的功能。

whitewum.github.io

面向开发者的LLM入门教程

Description

提示工程
理解模型
提示工程的核心在于理解模型的运作机制，使其有效地理解你的指令并给出最佳结果。
结构化提示
良好的提示结构能帮助模型更准确地理解你的意图，从而获得更精确的答案。
迭代优化
不断尝试不同的提示，分析模型的输出结果，持续优化提示，以获得最佳效果。
Few-shot: 提供示例，更好地表达意图
示例的力量
通过提供具体的例子，可以帮助大模型更好地理解用户的意图，从而生成更准确和符合预期的结果。
减少歧义
在某些情况下，用户可能会使用模糊的语言或表达，通过提供示例，可以消除歧义，确保大模型理解用户的真实需求。
引导模型学习
提供示例可以作为一种训练数据，帮助大模型学习新的知识和技能，从而提高其性能。
LLM benchmark
国内领先LLM
国内几个头部厂商的LLM，能力大致都在GPT3.5-GPT4之间，正在快速发展。
OpenCompass
OpenCompass提供了一个全面的中文语言模型评估基准，为不同模型的能力比较提供客观依据。
SuperClue AI
SuperClue AI专注于为企业提供定制化的AI解决方案，为不同领域的客户提供专业的服务。
LMsys
LMsys提供了一个强大的中文语言模型平台，支持多种应用场景，为开发者提供丰富的工具和资源。
RAG
RAG，即检索增强生成（Retrieval-Augmented Generation）。它结合了检索系统和生成模型，为 LLM 提供外部信息源，增强了其信息准确性和时效性。
通过检索相关信息并将其整合到模型的输入中，RAG 帮助 LLM 避免出现幻觉，并提供更准确、更符合上下文的信息。
应用框架
框架的作用
框架提供了一套预定义的结构和组件，帮助开发者快速构建LLM应用，无需从头开始编写所有代码。
代码示例
框架通常提供丰富的示例代码和教程，帮助开发者快速上手并进行实验。
丰富的组件
框架通常包含丰富的组件，例如数据处理、模型加载、提示词生成等，方便开发者构建复杂的功能。
社区支持
框架通常拥有活跃的社区，为开发者提供技术支持和解决方案，加速应用开发。
Generative AI for Beginners
学习资源
微软提供一个免费的 Generative AI 入门课程，涵盖基本概念、工具和应用案例，旨在帮助初学者了解和使用生成式 AI。
课程内容
课程内容包括生成式 AI 的基础知识、模型训练、推理和部署，以及不同类型生成式 AI 模型的应用示例。
学习方式
该课程通过在线平台提供，包含视频讲解、代码示例和练习题，方便用户灵活学习。
DeepLearning.AI 短期课程
深度学习短课程
DeepLearning.AI 提供各种主题的短课程，涵盖深度学习的基础知识和高级应用。
从 Prompt Engineering 入手
建议从 Prompt Engineering 开始，学习如何有效地与大型语言模型交互，进而提升模型性能和应用效果。
了解更多课程信息，请访问 DeepLearning.AI 短课程网站。
关于资源

1

1. GPU 加速
如果拥有强大的GPU，例如NVIDIA GeForce RTX 4090，可以从Hugging Face平台下载13B参数的预训练模型，加速模型的运行速度和性能。

2

2. Azure OpenAI
若没有GPU，可以使用Azure OpenAI提供的云端服务，免去本地部署和配置的麻烦，直接调用API访问大模型的能力。

3

3. OpenRouter API
对于没有Azure OpenAI资源或GPU的用户，OpenRouter API提供了一个替代方案，可以使用它进行简单的文本生成和其他任务。
大型语言模型的未来
大型语言模型的未来充满无限可能。新的架构、算法和训练方法不断涌现，推动着模型能力的提升。从更逼真的文本生成到更强大的代码编写，LLM正在改变我们与信息交互的方式。未来，LLM将与其他技术融合，打造更智能的应用，为人类社会带来更多益处。
产品与工具
大型语言模型 (LLM) 的应用已经渗透到各个领域，带来了全新的工具和产品。这些工具涵盖了文本生成、代码编写、翻译、知识问答等多个方面，为人们的生活和工作带来了极大的便利。除了已有的应用，LLM 的潜力远不止于此，未来还有更多的可能性等待开发和探索。
代码资源
课程地址
https://whitewum.github.io/llm-cookbook
助教地址
https://udify.app/chat/9OXFttWZF6foAMlG
Slides
https://hdu-cvqdbot.gamma.site/llm-app
本系列课程中的所有代码示例都可以在 GitHub 上找到。该存储库包含了各种示例，演示了如何使用大型语言模型。欢迎您克隆并学习这些代码，以便更好地理解和应用大型语言模型。