2024秋 数据库系统原理

2024秋 算法设计与分析

蒙特卡洛树搜索提升 SLM 推理能力

2024秋 计算机工程中最优化的方法（运筹学） 期末复习笔记

借助 pandoc 将 markdown 文件转换为 word 文档

O1 Replication Journey A Strategic Progress Report – Part 1 [arXiv 2024] Yiwei Qin, Xuefeng Li, Haoyang Zou, Yixiu Liu, Shijie Xia, Zhen Huang, Yixin Ye, Weizhe Yuan, Hector Liu, Yuanzhi Li, Pengf...

编译原理 理论复习 大题考点： NFA 确定化，DFA 最小化 √ 分析运行栈 √ 求FIRST和FOLLOW，判断是否是LL（1）文法 √ 求FIRSTVT和LASTVT，构造优先关系矩阵，判断是否是算符优先文法 √ 拓广文法，求LR（0）项目集规范族，构造Action和Goto。√ 代码优化：流图，DAG消基本块优化，活跃变量分析，画冲突图，图着色寄存器分配...

智谱华章科技有限公司 AI 院，2024.9 ~ 2024.11 第一段实习，虽然碍于平日繁忙的学业压力，从事的是互联网打螺丝的工作，但还是记录一下工作内容，方便以后制作简历/与面试官有的聊，足够把这段经历利用起来。 算法题目改写复杂指令 题目来源：leetcode, SPOJ, Luogu 不把题目作为算法题目来解答，只是把它当作一个逻辑性的题目，对于给定的输入数据，经过逻辑推理推...

让模型在推理的每一步进行自我评估和校正，结合随机性探索以提高多步骤推理的准确性和稳定性。 https://arxiv.org/abs/2305.00633 初步调研，没细看论文。 Abstract 将问题分解为中间步骤在大型语言模型（LLM）的推理中表现出色。然而，推理链的增长会带来不确定性和错误积累，从而难以获得准确的最终结果。为了解决多步推理中的不确定性挑战，我们引入了一种 逐步...

预训练，后训练（微调，对齐，RLHF） 预训练 Tokenization 任何信息都可以被转化为 Token，任何 Token 都可以被学习。 训练的第一步：Tokenization，把文本或其他信息分解为一个个离散的单元（Token）。 Embedding Tokens 可以用 embeddings（词嵌入，将单词表示为向量，使得相似的单词在向量空间中距离更近）的方式进一步表示...