Orca

大语言模型(LLMs)推理过程中的批处理优化面临显著挑战，这主要源于其推理过程的迭代特性。 核心问题在于批处理中的各个请求完成时间存在差异，这导致资源释放和新请求整合的复杂性显著提高，特别是在处理不同完成阶段的请求时。 当批处理中序列的生成长度差异较大时，GPU资源利用率往往不够理想。

10月30日，Cyan青心意创（原“青心创新/萨恩异创”）正式发布了独立自研的通用人形机器人OrcaⅠ的动态视频，展示了其在“拟人直膝”状态下的行走、爬坡、原地转圈、行走/站立状态下的步态恢复、户外路面行走等运动控制能力，大语言模型加持下兼具情绪表达的自然语言交互能力，以及在保证精准控制状态下丝滑流畅的双臂操作能力。 相较于市面上常见的“机械感”过重的机器人设计，OrcaⅠ摆脱了传统观念中人们对于…