序列
想把半本《红楼梦》搬进ChatGPT输入框？先把这个问题解决掉
从 GPT-4 的 32k 到谷歌 CoLT5 的 64k 再到最新研究的 200万 token，类ChatGPT 模型们可以处理的文本长度正在急剧增加，这意味着它们的应用范围也越来越广。或许有一天，ChatGPT 能帮乔治·马丁把《冰与火之歌》（权力的游戏）写完呢？过去两年，斯坦福大学 Hazy Research 实验室一直在从事一项重要的工作：增加序列长度。 他们有一种观点：更长的序列将开启机器学习基础模型的新时代 —— 模型可以从更长的上下文、多种媒体源、复杂的演示等中学习。目前，这项研究已经取得了新进展。H
用于抗体设计的深度生成蛋白语言模型
编辑 | 萝卜皮用于治疗应用的单克隆抗体的发现和优化依赖于大型序列库，但受到低溶解度、低热稳定性、高聚集和高免疫原性等可开发性问题的阻碍。在数百万个蛋白质序列上训练的生成语言模型是按需生成逼真、多样化序列的强大工具。约翰霍普金斯大学的科学家和工程师团队提出了免疫球蛋白语言模型 (IgLM)，这是一种深度生成语言模型，用于通过重新设计可变长度的抗体序列跨度来创建合成库。IgLM 将抗体设计制定为基于自然语言文本填充的自回归序列生成任务。该团队在 558M 抗体重链和轻链可变序列上训练 IgLM，以每个序列的链类型和来
CVPR 2021 | 时间序列疾病预测的因果隐马尔可夫模型
本文是对发表于计算机视觉和模式识别领域的顶级会议 CVPR 2021的论文“Causal Hidden Markov Model for Time Series Disease Forecasting（时间序列疾病预测的因果隐马尔可夫模型）”的解读。
该论文由北京大学王亦洲课题组与深睿医疗等单位合作，针对时间序列疾病预测的问题，提出了因果隐马尔可夫模型描述疾病的动态发展过程，并使用基于 VAE 的变分框架进行学习。通过对图像隐空间进行解耦，去除疾病无关因子与疾病预测的伪相关关系，从而提高预测的准确率和鲁棒性。
做时间序列预测有必要用深度学习吗？事实证明，梯度提升回归树媲美甚至超越多个DNN模型
在深度学习方法应用广泛的今天，所有领域是不是非它不可呢？其实未必，在时间序列预测任务上，简单的机器学习方法能够媲美甚至超越很多 DNN 模型。