LLM学习

线性代数 微积分 概率与统计

熟练掌握Python语法 数据结构 面向对象编程

NumPy 基础：大模型中的张量操作 在大模型（LLMs）中，所有数据，包括词嵌入、模型权重、偏置等，都以多维数组（即 张量）的形式存在和处理。NumPy 是 Python 中处理这些数组的基...

数据处理与分析的利器，尤其擅长处理表格型数据

传统机器学习算法、数据预处理、模型评估

数据可视化

1. 监督学习 (Supervised Learning) 核心思想：从“有标签”的数据中学习，模型的目标是学习一个从输入特征到已知标签的映射函数。 数据形式: 数据集由成对的 (X, y...

线性回归 (Linear Regression) 核心思想 (Core Idea): 假设输入特征 (X) 和连续的输出目标 (y) 之间存在线性关系。 目标是找到一个（或一组）最佳的权重...

想象一下你要做一道美味的菜肴（比如“宫保鸡丁”），而你手头有一些原始的食材（数据）。直接把原始食材扔进锅里炒，很可能做出来的东西不好吃或者根本不能吃。你需要对食材进行一系列处理，这就是数据预处理...

核心概念：混淆矩阵 (Confusion Matrix) 在介绍具体的评估指标之前，我们首先需要理解混淆矩阵，因为很多分类指标都源于它。混淆矩阵是一个表格，用于可视化分类模型的性能。对于一个二分...

感知机 (Perceptron) 通俗例子： 想象一个非常简单的**“决策机器人”**，它要根据一些输入信息来做一个二选一的决定（比如“去”或“不去”，“是”或“否”）。 收集信息 (输入...

PyTorch 张量 (Tensors) 如果你已经熟悉 NumPy 的 ndarray，那么理解 PyTorch 的张量会非常容易。PyTorch 张量与 NumPy 数组非常相似，但有一个关...

1. 卷积神经网络 (CNN) 用于图像分类 任务假设： 我们有一个图像数据集，每张图片对应一个类别（例如，CIFAR-10 数据集中的10个类别：飞机、汽车、鸟、猫等）。 模型输入是一张图片...

重点 正确的理解应该是（针对标准 Seq2Seq，不考虑有特殊输出层的编码器）： h_1 和 c_1 的传递: 正如我们之前讨论的，在编码器的每个隐含层，h_t 和 c_t 会一直向后传递到...

RNN基本原理 想象一下你在读一句话，或者听别人说话。 你的大脑是怎么工作的？ 当你读到或听到一个词时，你不仅仅是理解这个词本身的意思，你还会结合前面已经读过或听过的词来理解当前这个词在整...

文本预处理 原始的文本数据充满了各种“噪音”和“冗余”，直接将其用于机器学习模型通常效果不佳。文本预处理的目标是将原始文本转换为一种更干净、更结构化、更适合模型学习的形式。 1. 分词 (To...

自注意力机制 Self-Attention （https://space.bilibili.com/88461692/lists） 不懂去这个链接看视频 想象一下你在阅读一个句子，比如：“银行旁...

整体概览： 这张图展示了一个典型的编码器-解码器 (Encoder-Decoder) 架构的 Transformer。 左半部分 (蓝色框，标号2) 是 编码器 (Encoder)，负责理解...

好的，我们来梳理一下这些主流预训练模型的特点、适用场景和预训练方式。这是一个庞大且快速发展的领域，我会尽量概括核心信息。 核心概念理解： 预训练 (Pre-training): 在大规模无标签...

好的，这里提供一个使用 PyTorch 构建的极简 Decoder-only Transformer（类似 GPT-like 结构）进行预训练（Causal Language Modeling ...

好的，预训练一个大语言模型 (LLM) 是一个复杂且资源密集型的过程。下面是从头到尾的宏观流程，不涉及具体代码细节，但会涵盖关键步骤和考量： 阶段一：规划与准备 (The Blueprint) ...

Prompt 工程（Prompt Engineering）可以被视为一门设计和优化输入提示（Prompt）的艺术和科学，以指导大型语言模型（LLM）高效、准确地完成特定任务。 下面我为你梳理一下...

LLM 微调 (Fine-tuning): 概述 在预训练阶段，大语言模型（LLM）通过在海量通用文本数据上进行训练，学习到了广泛的语言知识、语法结构、世界常识以及一定的推理能力。然而，这些预训...