迁移学习，自监督学习，预训练模型（PTMs） 迁移学习、自监督学习 深度学习：各类自然语言处理任务（机器翻译，情感分析等）的主流框架。 训练拟合数据的模型，需要 有监督数据。 问题：缺乏大规模监督数据，模型深度有限，泛化性能差 解决：先让模型获得一个通用能力，再把这个模型迁移到更小的任务上，拥有特定的能力。 PTMs（预训练模型）先在大规模的未标注数据上进行预训练，然后在下游任务...

神经网络基础，RNN，CNN，Seq2Seq，Transformer 简单神经网络 机器学习。 神经网络：模仿人脑结构设计出来的一种架构，最小的学习单元是 神经元。 神经元是一个 计算单元，由 n 维输入 $x$，偏置 $n$，n 维权重 $w$，激活函数 $f(z)$ 构成，$w, b$ 是神经元的 参数。 单层神经网络：由许多简单神经元连接在一起组成。 多层神经网络：...

符号智能 $\to$ 狭义智能 $\to$ 通用智能 ##符号智能 用预定义的符号和规则来表示知识，从而进行进一步的信息分析和推理。 局限性：构建知识库很困难；不是所有知识都能通过结构化的三元组明确表达；符号智能系统无法解决知识库未涵盖的内容。 狭义智能 这种范式通常从特定于任务的数据中 训练数据驱动的机器学习模型，并将任务知识存储在特定于任务的小模型的参数中。 2010 年以后...

使用算法题来构造高质量的推理数据。 Abstract 提出了一个 LogicPro 的新方法来增强 LLM 的复杂逻辑推理。根据算法题和代码题解构造输入，基于此构造不同的复杂逻辑推理问题，最后结合代码题解的中间变量输出，推导出推理过程和最终结果。 这个方法可以构建一个困难（所有模型都是无效的）、多样化、可拓展的数据集，并获得了一个由中间变量值引导的高质量推理过程。在BBH27、GSM8...

阅读多智能体相关的论文，着重关注其中实验部分，总结他们用了什么 benchmark，在测试模型的哪些能力，结果怎么样。 Mixture-of-Agents 只用开源模型，部分指标优于 GPT-4o 大量实验有助于了解 MoA 内部机制 成本效益提高两倍以上，并提供与 GPT-4 Turbo 相当的性能 Setup Benchmark 主要在 ...

数学 题意 https://atcoder.jp/contests/abc044/tasks/arc060_b 给定两个整数 $n, s$，求最小的整数 $b(b \geq 2)$，使得 $n$ 在 $b$ 进制下的各数位和为 $s$。如果不存在这样的 $b$，输出 -1. $1 \leq n, s \leq {10}^{11}$ 思路 观察到数据范围，可以考虑根号复杂度的做法。...

在综述里看到的，介绍 Agents Communication 的结构 “Shared Message Pool” 里提到的文章。 https://arxiv.org/abs/2308.00352 https://github.com/geekan/MetaGPT Introduction 通过广泛的实践，人类已经开发出被广泛接受的各种领域的标准化操作流程（SOP），这些 SOP...

Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence https://arxiv.org/abs/2407.07061 https://github.com/OpenBMB/IoA Introduction 创建一个平台来促进智能体之间的自动协作，IoA，一个受...

在综述里看到的，介绍 Agents Communication 的结构 “Layered” 里提到的文章。 https://arxiv.org/abs/2310.02170 https://github.com/SALT-NLP/DyLAN. Abstract 集成多个 LLM agent 可以进一步提高性能。文章提出了一个智能体决策团队，基于 query 在 动态交互 的架构中交流...

Chateval：通过多智能体辩论实现更好的基于 LLM 的评估器 https://arxiv.org/abs/2308.:07201 ABSTRACT LLM 可以代替人类进行文本作品评估评价，单一智能体评估和人类评估质量有差距。多智能体辩论的评估模式。构建了一个 ChatEval 来对模型的生成质量（开放性问题和自然语言生成 NLG）进行评估。不同的 role prompt 是必不...