Berkeley AI Research 提出 SPEX 与 ProxySPEX:大规模识别 LLM 关键交互
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中大规模识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10x 更少的消融达到 SPEX 的性能。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中大规模识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10x 更少的消融达到 SPEX 的性能。
伯克利 AI 研究团队提出基于互信息的成像系统评估与优化框架,可直接从含噪测量中估计信息量,并在彩色摄影、射电天文、无透镜成像和显微成像四个领域验证其能预测解码器性能。该方法优化出的设计达到端到端 SOTA 水平,同时占用更少内存和算力,且无需任务专用解码器设计。
一篇新文章提出用"分治"范式替代时序差分(TD)学习来做 off-policy 强化学习,通过将轨迹一分为二并组合子段价值来更新,理论上把 Bellman 递归次数从线性降到对数级。作者与 Aditya 合作的工作首次将分治价值学习扩展到目标条件 RL 这类高复杂度任务,且无需像 n-step TD 那样调节 n 超参数。目前该方法仍面临如何选取最优子目标 w 的难题。
伯克利 AI 研究提出首个关于 word2vec 学习过程的定量预测理论,证明在实际训练条件下该问题可化简为无权重最小二乘矩阵分解,梯度流动态有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。