# videos checklist - [x] seen? - [x] note-taking? thinking about it? 15天 - [x] share? # why # what # how - ## 预训练 - [00:00:00](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=0s) introduction - [00:01:00](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=60s) [[pretraining data]] (internet) - 对互联网上收集的数据进行预处理 - [[FineWeb]]的训练数据集为 15 万亿个 token，GPT-2 当时的训练数据集为 1000 亿，数据集本身也是影响模型质量的重要指标，而不仅仅是模型[[parameters 参数|参数]]规模的大小 - [00:07:47](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=467s) [[tokenization]] - 首先，计算机只能理解数字，而不能理解自然语言，所以在数据集进入大模型前，需要对自然语言的文本进行编码 - 最简单的编码方式是 bit，但是只有 2 个 symbol`0,1`的长度会无限长，对于训练模型来说非常昂贵 - 下一步是将 8 个 bit 组合成一个字节，1 个字节代表 1 个文本，这样的组合可以有$2^8=256$种可能性，此时的文本就被转换成了 1-256 个整数序列，但是此时的文本长度仍然过长，其中存在很多重复的固定组合 - 第三步，利用**字节编码对**等算法继续缩短文本的长度，最终有了 token 这个概念，互联网上的数据经过词元化后获得的一份可以识别的**唯一词元整数序列 Token ID**，这些 token ID组成了模型的**[[词汇表]]**。词汇表数量比较适合的范围是 10 万左右。GPT-3：50257 token；GPT-4：100277个 token 可能性（*经过测试发现的一个比较适合的词汇表大小*）； - [00:14:27](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=867s) neural network I/O - LLM 模型的核心之一[[ANN 人工神经网络|神经网络]]，[[transformer]]架构 - 首先，数据被切分成可处理的[[context length 上下文长度]]。理论上可以是无限长，但考虑到计算成本，对上下文长度仍然有限制。对于GPT-2 是 1024， GPT-3，它的训练上下文大小为 2048个 token，GPT-4o 为 128k token。 - 数据进入神经网络，最终的结果是给词汇表中的每一个 token 产生一个概率，加总等于 100%。比如 GPT-4 有 100277 个词汇，出现下一个词就有 100277 种可能性。 - 预训练的原理： - [[生成式 AI]]：模型只做一件事，生成下一个token，预测下一个 token的概率。 - 在**预训练**完成后，我们会得到一份「参数」文件，可以先简单理解为这是一份对所有互联网数据进行了压缩的文件。 - **预训练的目的就是让模型不停地去预测下一个 token，并且一轮一轮地迭代预测的准确性，从而得到一份与训练使用的数据一致的参数**。 - 迭代的方法是通过[[Backpropagation 反向传播算法]]来降低[[Loss function 损失函数]] - 例子 - 4-2-3% 迭代迭代变成了 2-1-4% - 模型训练的 demo - [00:20:11](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=1211s) neural network internals - 数学视角：[[矩阵向量乘法]] - 模型内部的真正训练过程是3b1b 并行处理的 demo矩阵向量乘法 - 语言视角：[[语义空间]] - 数据+参数（权重）通过一个**巨大的数学表达式**，最终获得词汇表中每个词的概率 100277？ - 随机参数：随机参数，通过输入的数据（转化成的 token）进行参数调整，最终得到一份预测效果较好的参数，具体可以看 Andrey 的运行 demo - 模型内部只做一件事，矩阵向量乘积，随机的参数会与数据进行计算。这些参数一开始是随机的，生成的内容也是非常随机的，但随着迭代，内容会越来越合理。最终会获得一个基础模型。 - *LLM visualization 看一遍，弄明白* #todo - [00:26:01](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=1561s) inference - 推理阶段即模型在训练完成后生成内容的阶段。预训练通过数据自主训练，训练完成后会得到一份固定的参数表，不再更新，然后部署到服务器中供人使用，进入到推理阶段。 - 推理阶段，本质上只做一件事，预测下一个token，每一次生成的 token 都会返回模型来预测下一个token（feeding back tokens and getting the next one） - 91 经过神经网络，得出 100277 种可能性的概率，然后随机**抽样**，生成 860 - 这个随机性决定了模型每次生成内容是有差异的，有时很好，有时就不那么幸运了，例如最后一个 token 是 13659，并不是训练数据的 3692 - 用 Tokenization 翻译一下，看看啥意思 - 每生成一个 token，都是所有参数的一次激活。这就是为什么[[GPT-4.5]]会慢。 - [00:31:09](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=1869s) ==GPT-2: training and inference == - Andrey 演示了他的一个项目，重新训练 gpt2：https://github.com/karpathy/llm.c/discussions/677 - 训练过程： -  - loss是这里面一个需要密切关注的数字，越小的 loss（损失函数），代表模型的预测能力越好。**通过预测下一个token的方式进行学习，GPT 通过生成预测的下一个 token，然后与实际的 token 进行对比，通过差异来自动调整参数。** - 今天之所以更便宜，是因为数据集的质量更高和 GPU 性能更强了。这里的**每一次更新**，都是对模型内部参数的一次微小调整，目的是进行更好的预测。例如如果我们从数据集中提炼出了 100 万个 token，每一次更新，都是对 100 万个 token 的同时改进。一共有 32000 次这样的更新，所以是 1000000 x 32000 = 330 亿个 token 的更新。这就是为什么使用[[GPU]]，GPU之所以适合训练大模型，是因为它的并行处理能力，可以同时处理大模型中的矩阵向量乘法计算。 - [00:42:52](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=2572s) Llama 3.1 base model inference - zebra from wikipedia:如果复制一句Wikipedia 页面上的一句话给模型，它会开始生成和 wiki 页面一模一样的内容，就好像一个人凭着记忆背诵页面一样，而这些“记忆”存储在[[parameters 参数|参数]]中。 - 模型之所以会复述Wikipedia如此精确，是因为 Wikipedia 本身是一个非常高质量，且在互联网上经常出现的页面，所以模型在学习的时候也会学习更多次，就像人类一样，一本书看的次数多了，自然就会背诵一些内容了，只不过机器的记忆更好。 - hallucination：模型出现幻觉的例子，给模型 2023 年以后的信息，它只会一味地补齐信息，但与事实不符，就像是创造了另一个平行宇宙。 - prompeting: 即使是 base model，也可以通过prompt 让它变成一个 assistant。例如给 10 组英中词汇`butterfly:蝴蝶,ocean:海洋...teacher:`摸型在回答时会预测下一个会出现的词`老师`，模型在简短的上下文中学到了这种模式。 - 让 GPT 写一个训练 assistant 的实例，然后给到 base model，就可以粗略地得到一个 assistant，因为模型会模仿助理的对话模式继续预测下一个词。 - [00:59:23](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=3563s) pretraining to post-training 总结： - 基础模型是一个词元单位级别的网页文档模拟器 - 非常随机的，每次运行的结果都不太一样 - dream internet documents：梦境版的互联网文档，一样却又不太一样。更好的解释是类比于人类的输出，不是完全背诵，但又是基于理解的输出 - 可能会逐字背诵互联网文档 - **模型的参数可以类比于人类大脑的神经元突触链接，从随机参数开始，经过多次数据的迭代学习并理解了人类的语言，获得了人类的知识。** - 利用模型的本质：根据提示 prompt 生成下一个词，可以将模拟器训练成一个有用的助理，但更好的方式是后训练 - ## 后训练 - [01:01:06](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=3666s) post-training data (conversations) - [[SFT 监督微调]] - [01:20:32](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=4832s) hallucinations, tool use, knowledge/working memory - [[幻觉 Hallucinations]] - [01:41:46](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=6106s) knowledge of self - 模型并不真正知道自己是谁，可以通过 user system 或者特殊的监督微调数据来训练模型知道 - [01:46:56](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=6416s) models need tokens to think [[为什么大语言模型无法推理？]] - 以下是原文的中文翻译及内容解释： - 要回答这个问题的关键，是理解并记住，**当我们在训练或推理模型时，模型实际上是在一个一维的序列上，从左向右逐个处理每个 token（词元）**。我通常脑海中会浮现这样一幅画面：想象一个 token 序列从左向右逐渐演变，而为了预测序列中的下一个 token，我们把所有已有的 token 输入到神经网络中，然后神经网络输出下一个 token 的概率。 - 原文中提到的这张图，实际上就是我们之前看到的那张图，这张图源于之前展示过的网络演示（web demo）。这张图展示了模型如何将输入的 tokens 通过多个**神经元运算**，最终计算出下一个 token 的概率分布。 - **这里非常关键的一点在于，我们要认识到，在这种神经网络计算过程中，神经网络的计算层数其实是有限的**。比如原文示例中的模型，**只包含了三层的注意力机制（attention）和前馈神经网络（MLP）。现代先进的模型可能会有更多的层，比如100层左右，但即使如此，从输入 token 到预测出下一个 token，也只会经历大约100层左右的计算，这意味着每预测出一个新的 token，神经网络实际执行的计算量是有限的。** - 这也就是说： - **每个 token 的预测过程，都只消耗固定且有限的计算量**。 - 实际上，随着输入 token 数量的增加，模型计算量确实会增加一点点，但并不会明显增加太多，整体上来说是基本固定的。 - 因此，每个 token 的预测所涉及的计算过程是相当小的。**这意味着模型在一次前向计算过程中所能执行的运算数量是非常有限的，我们不能期望模型仅凭单个 token 就做出非常复杂或者任意复杂的推理。** - 所以，这引出了一个关键问题： - **由于每个 token 的计算量是有限的，我们必须将复杂的推理过程分散到多个 token 中，不能期望模型单凭某一个 token 的单次计算就能完成复杂任务或深度推理。** - 换句话说，**模型的整体推理和理解能力，是通过跨越多个 token 的连续预测逐渐展现出来的**。**单一 token 的预测过程计算量有限，因此如果模型只有很少的 token 来实现推理，那么它的表现将明显较差。这也正是为什么在文章中提到的答案表现明显变差的原因。** - use code，让模型使用 Python 程序进行计算会更加准确，因为对于 LLM 来说，使用推理更像是一种心算。 - [02:01:11](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=7271s) tokenization revisited: models struggle with spelling - copy past高手 - 不会数数，只能看见 token，而不是单词 - [02:04:53](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=7493s) jagged intelligence - 为什么这个模型在奥林匹克级别的问题上表现如此出色，但在像这样非常简单的问题上却失败了？嗯，我认为这个问题就像我提到的那样，有点令人费解。事实证明，很多人对此进行了深入研究。我实际上还没有看过这篇论文，但是这个团队告诉我，当你仔细检查神经网络内部的激活时，当你查看某些特征时，哪些特征会打开或关闭，哪些神经元会打开或关闭，神经网络内部的一些神经元会亮起，这些神经元通常与圣经经文 U 相关，所以我认为这个模型有点像提醒人们，这些看起来几乎像圣经经文标记，在 bip 经文设置中，9.11 会在 99.9 之后，所以基本上，模型不知何故发现它在认知上非常分散注意力，因为在圣经经文中 9.11 会更大，嗯，即使在这里它实际上试图证明这一点并用数学得出答案，它仍然会得到错误的答案答案在这里，所以它基本上没有完全意义，也没有完全理解，嗯，有一些类似的棘手问题，所以这就是为什么把它当作一个随机系统来对待，这是一个非常神奇的系统，但你不能完全信任它，你想把它当作一个工具，而不是像撕字母那样，把结果复制粘贴 - [02:07:28](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=7648s) supervised finetuning to reinforcement learning - [[RLHF 基于人类反馈的强化学习]] - [02:14:42](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=8082s) reinforcement learning - [[RL 强化学习]] - [02:27:47](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=8867s) DeepSeek-R1 - [[DeepSeek-R1]] - [02:42:07](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=9727s) AlphaGo - [[AlphaGo]] ，move37 - [02:48:26](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=10106s) reinforcement learning from human feedback (RLHF) - 我提到过，原生方法是，如果我们设置无限长的人工时间，我们就可以在这些领域顺利运行强化学习。例如，我们可以像往常一样运行强化学习。如果我有无限长的人，我只想做1000次更新，每次更新都会针对1000个提示，而对于每个提示，我们都会进行1000次滚动评分。这样我们就可以用这种设置运行强化学习。问题在于，在执行此操作的过程中，我需要运行一次更新，我需要请人来执行。总共评估一个笑话 10 亿次，所以很多人会看非常糟糕的笑话，所以我们不想这样做，所以我们想采取 arlef 方法，所以在我们的 Rel 方法中，我们的核心技巧是间接 - [03:09:39](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=11379s) preview of things to come - [03:15:15](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=11715s) keeping track of LLMs - [03:18:34](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=11914s) where to find LLMs - [03:21:46](https://www.youtube.com/watch?v=7xTGNNLPyMI&t=12106s) grand summary Links - ## Links - ChatGPT [https://chatgpt.com/](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbUM2WmVOOVFzQlE1VnVFTld3d0N0cHlfQS1DZ3xBQ3Jtc0trM28xU3NIUDFJejh6OF9USDlSUEZGX3NzV0R4R2E1S051T211MkhzRy1SX0diNUZ4emt2enkwVDZua1JrTGZ6d2d0ajQyWmdLOHdkM281MWJpaTRMM0pnem5JTHMzVUF5VGVRSWpkckdjc2p2M25SYw&q=https%3A%2F%2Fchatgpt.com%2F&v=7xTGNNLPyMI) - FineWeb (pretraining dataset): [https://huggingface.co/spaces/Hugging...](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqa3llV0NUVFVmQVh6eTZWcDdPUGp3anVQRnVBd3xBQ3Jtc0trZkh1U0ZoUXBtSEJTaW5uWEFyZmgydUVYQ0x0T1pOdTBkcVBJa3pYbXZHalJIc3RKMmlsZFc3cnpNWUNKVGFHVUxHMjFhejgxUjBUWEZ5VXpmV0EwSWROWVBZRkV6aGRnaWVrc2FfYVJGZUxsQ0pIWQ&q=https%3A%2F%2Fhuggingface.co%2Fspaces%2FHuggingFaceFW%2Fblogpost-fineweb-v1&v=7xTGNNLPyMI) - Tiktokenizer: [https://tiktokenizer.vercel.app/](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbXVaaTRTRU4taG5rTldqSEtCckM5UFNFckEzZ3xBQ3Jtc0tucHNPa3ZJZHA3VzhwRG1hMmFOZzZEV2drVkVqSkNxYk80NmpwR0hqXzVkcVBKZXRSdE5jR2xJWTduZzdCTGVoUHFzelkzakhkdHFsWUR0c3hjdHlCbEprc1QtNXFNaWFYWVZRNUQtNXlnMktBWnVhRQ&q=https%3A%2F%2Ftiktokenizer.vercel.app%2F&v=7xTGNNLPyMI) - Transformer Neural Net 3D visualizer: [https://bbycroft.net/llm](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqa1BwRExBeFhqdVM4ZEFIRzBaN090NjhTQXhxUXxBQ3Jtc0tsNlQtU19kd0M0WElsSlJKbDdTa05SNlctdlNvdFh4aG9FdHUyc0EtSFlUZFlvY3ZlQkdpbUJfaVUzTmFyTERMYkx2S2tPaUxvQXdzMi1MNF9zSWhRclVKMzA5eEt5YlNWeWlJNGUxOHpLT21fMmNXZw&q=https%3A%2F%2Fbbycroft.net%2Fllm&v=7xTGNNLPyMI) - llm.c Let's Reproduce GPT-2 [https://github.com/karpathy/llm.c/dis...](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbjJ1eTYyaV9taFFhM2V4azRaYUdJRnZmSXhkQXxBQ3Jtc0ttMVNwQUh2Y3QzVkdfblNwX3lnbjZyemFYekhqQXNleGItZTMxVldzUnYtTkhtaE5ZbDRhSl81NGJEQk1xNThqZFlQZzEtM18wSldlaHBkZ1Y5MEp2WkQ4VkZXdmpwY2V0bERJUGhqUmozRnprUGg5TQ&q=https%3A%2F%2Fgithub.com%2Fkarpathy%2Fllm.c%2Fdiscussions%2F677&v=7xTGNNLPyMI) - Llama 3 paper from Meta: [https://arxiv.org/abs/2407.21783](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbFhaU0tvSGFtWWZQaWQxWkF1SFF4akFodDd0d3xBQ3Jtc0trbGdRbWdrT1BXMk54Um9BNEoxZmtBM2NDV0J3UVV3WXh2cGtpWUsxRktJOVhELU56WVdXazg1ZWpCQ3lqRU9Kelc4WU1maWdyLWdRQUlMZDlpaUh1dkZZVHFjUW5Ka05HbTlaOHNFQW5TcTRhYkV1TQ&q=https%3A%2F%2Farxiv.org%2Fabs%2F2407.21783&v=7xTGNNLPyMI) - Hyperbolic, for inference of base model: [https://app.hyperbolic.xyz/](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbV9jUTR2bUpsclladjY3aFhsZFhkQnFlZ2xUQXxBQ3Jtc0tuNUxjb1Q4bzUyYmhHN3Vyc0luZ1FxR0xaU19KVnRfVkRyemNGOXloRUdUc0lFVHdVYzFjeS1YeUZ6QVg5V1RBbmppd1REY1dMMFRPcnczdmdKU2xlc3JGMEcxbUxWMExQVnRpVWRYRU9qR1lQNXk4NA&q=https%3A%2F%2Fapp.hyperbolic.xyz%2F&v=7xTGNNLPyMI) - InstructGPT paper on SFT: [https://arxiv.org/abs/2203.02155](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbWNUb2JxRWR6T2xER0M3V3R6MFA0Q0lxN2pEZ3xBQ3Jtc0ttcENNeFU3aE9UT0I1SXVIblk1RHktOFVTSW1GaVAyRkxmVzlUeW9UeHRubXdhMlh4ZFFCdnp4UFIxLUNzNTF6REU0aTVWS0RNZklia2RudzJpY2Vnb1hhVHpQcmpqcjhnbjhSeXVZNUlBRzA3M1BRSQ&q=https%3A%2F%2Farxiv.org%2Fabs%2F2203.02155&v=7xTGNNLPyMI) - HuggingFace inference playground: [https://huggingface.co/spaces/hugging...](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbW1TeVdkeTNxeFNlTmxSQ3FRTzQ1bEItSWhRUXxBQ3Jtc0tuVFk0YjNPYWJsWm4wZVZIWUFEc2NzSWlteFJ4ZWtwdldRYzVJWkdFUDJ1cTVVblp0M0JRWG93bWYxaFg3RVlOWXhEQk9wSXZmX3NrbU05NlJqTHBLbjhXbzFjbXNlSUNrTHpPTklSamhjb011MEVSWQ&q=https%3A%2F%2Fhuggingface.co%2Fspaces%2Fhuggingface%2Finference-playground&v=7xTGNNLPyMI) - DeepSeek-R1 paper: [https://arxiv.org/abs/2501.12948](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbW5HQVJLUXdyQ2IzV1l4Sy1HeFg0SUVTUmVJQXxBQ3Jtc0tuZjJsSzJGUXRoa3hKZGFqTFR3cTVPbGF3OGJDSVhabXA3TlFNQS1GdEhRV0tNSnU5X2ZKaDM0ZVRCMXFrV1hiMWpNVUNUSW5IWEhfTTF5X2hfXzZ3V1B2UVBHREJGUGJnaTNya051OGtncTVrVDNCZw&q=https%3A%2F%2Farxiv.org%2Fabs%2F2501.12948&v=7xTGNNLPyMI) - TogetherAI Playground for open model inference: [https://api.together.xyz/playground](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqazVKMEFiWTVFWGt1T1R3TE0wd3gzUGhKcnUtQXxBQ3Jtc0tub0UwQ1B4bm9HOFg5aTFDelJacURwWTI5MzVDVHplSzduNEdqcm1oVlBDdnZVb0ZnaDBfUkhNbGdHdTFjNVFDUW85akw1UGw1VHR0QnZZU29UX2FQNVJPNWloR1d0UFV0SHNtdXVaWHBxaWl1cWh3VQ&q=https%3A%2F%2Fapi.together.xyz%2Fplayground&v=7xTGNNLPyMI) - AlphaGo paper (PDF): [https://discovery.ucl.ac.uk/id/eprint...](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbTdEQ0xXVXZONEdxN256VFpPY0VFQk4zTG90UXxBQ3Jtc0ttS1hKS1lUby0ybE1JcXlNYlhaOExqRVNHWU1vR2E4a1NDTTJGUEFjVkZOTkN0RFNPYV81UGJqUjFSS3BHcDZWXzlhRjZfZGN3ZWdhVWhtYjhjSEhGYXFwTWJLRHZCUE1Pd3lpa2p2XzF0NmFTYng2WQ&q=https%3A%2F%2Fdiscovery.ucl.ac.uk%2Fid%2Feprint%2F10045895%2F1%2Fagz_unformatted_nature.pdf&v=7xTGNNLPyMI) - AlphaGo Move 37 video:    [ • Lee Sedol vs AlphaGo  Move 37 reactio...](https://www.youtube.com/watch?v=HT-UZkiOLv8&t=0s)   - LM Arena for model rankings: [https://lmarena.ai/](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqa1FjSGVnX0k4Zk96blN3c2ppeWRvSW9NcXFfUXxBQ3Jtc0ttb1FqQ0FRMWhHeDJieElPQVlsSmEtaGlhdjBfZ1lIYmlGMkM0RkNRUUxxd1pobE5GeXBxcXFEWS1xUTRWVjhnT3A0ZWpGUVVtZ0JEQmExNWk4QldJTFQycWFHWGwzMjNLRzN2SDQxSFB0OGFucnFVcw&q=https%3A%2F%2Flmarena.ai%2F&v=7xTGNNLPyMI) - AI News Newsletter: [https://buttondown.com/ainews](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbG56ZVEyR0o5UUtEMUlka3FKLUhOS1QyVGJVd3xBQ3Jtc0tsQ0lHT21MZ0hMQTRyTm9udy1oeGU0V1g0cE1WMTN1VEd6STBreXN3UGZZZXM3aGZPbHpHaXpSanQ3Vnh3dzdqbGtYSmZkX0xkVTlQTWp1a0hIYkJGN0YxMWpseFZtaFhSX0V3TmREUlZUTW1CUk1KTQ&q=https%3A%2F%2Fbuttondown.com%2Fainews&v=7xTGNNLPyMI) - LMStudio for local inference [https://lmstudio.ai/](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbkV6Ynl1cDJjZDgyOFpXRi1rbjZFdi1OdEV6QXxBQ3Jtc0tsZFo1M2FjZGlwUTFad0txanFnbkI2TmRCN3ZDZmFFVlduUVlrdmtyRWlVdmNrTjFaTmFXTERKc1JfSlpuQ0MxbWZwckx2RGtOZ19pTjNYTlh5TkhYbmt0Tks4NXoyWmRTNng4WXE3MERNLVpuVVNRQQ&q=https%3A%2F%2Flmstudio.ai%2F&v=7xTGNNLPyMI) - The visualization UI I was using in the video: [https://excalidraw.com/](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbGlsODRlcXR0UjNhZGN5S0NBRk9yb3hZZkpzd3xBQ3Jtc0trVUZsSnE4V3czQ2xtZFhoemdaLWxxSVpGNGc4UjRUaVNDbkNvZWpYRzg5WkUta2djbHY1WmJ0Y3R4WXNRM1lNbDNzT3BINkFuaVdmeURfNmNYNHhnTkVoMnVKSUFsSDdYVFZlMUxrdlQ2WmVZT0F3MA&q=https%3A%2F%2Fexcalidraw.com%2F&v=7xTGNNLPyMI) - The specific file of Excalidraw we built up: [https://drive.google.com/file/d/1EZh5...](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbndNUUtaN1U0aFhhVHdULWlueGgzU2o5a3c2QXxBQ3Jtc0tsLU1xcGZlVG9MeVdtbExtbV9OUUdfY2tHUml1MWZ1Z2kwYUw5WFlOaFJZTWxCUjZQT1N6QjFNYV95c2N2alpyWExOTE0wNk9lRXByZGNPdjMtR0xQX3JhdlNOd1V5cmUyZXVsVnZsY3JHaE1OQW1PYw&q=https%3A%2F%2Fdrive.google.com%2Ffile%2Fd%2F1EZh5hNDzxMMy05uLhVryk061QYQGTxiN%2Fview%3Fusp%3Dsharing&v=7xTGNNLPyMI) - Discord channel for Eureka Labs and this video:   [ / discord](https://www.youtube.com/redirect?event=video_description&redir_token=QUFFLUhqbDM1eXV6UmFjSV9nVl9HMUoxNTJibW1CLVVBQXxBQ3Jtc0ttRHJ6NjZpcHBGMWxkNWdIQ2gzTEI2LWpfT1h4a3p1NEZmUWlUdDRrSGpRSjg3dmdlOF85a045cVdKMjdITHh6cUpuQjM4VWpYTnliYnctYzlMMVNBZVBuM0tkVk5oaGZqMWpZMnZ6LTBJT2RzV2JzQQ&q=https%3A%2F%2Fdiscord.gg%2F3zy8kqD9Cp&v=7xTGNNLPyMI) # how good # inbox # todo # ref. - [[video - deep dive into LLM.excalidraw]] # related. # archive.