财中社2月6日电 长江证券发表软件与服务行业AI产业速递称，采用创新性自回归框架，Janus-Pro或成为下一代统一多模态模型的有力候选者。JanusPro基于DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base构建，并采用了创新性的自回归框架，从而将将多模态理解和生成统一起来，并将视觉编码解耦，以实现多模态理解和生成。同时，Janus-Pro整合了优化的训练策略、扩展的训练数据，以及更大模型规模的扩展，使其多模态理解和文本到图像指令遵循能力方面取得了显著进展，同时还增强了文本到图像生成的稳定性。
　　基准测试成绩优异，超越Stable Diffusion和OpenAI的DALL-E 3。多项基准测试结果显示，Janus-Pro拥有优秀的多模态理解能力，并提高了文本到图像的指令跟踪性能。其中，Janus-Pro-7B在多模态理解基准MMBench上的得分为79.2，超越了Janus (69.4)、TokenFlow (68.9)和MetaMorph (75.2)。同时，在文本到图像指令跟踪排行榜GenEval中，Janus-Pro-7B以0.80的成绩，超越了Janus (0.61)、DALL-E 3 (0.67)和Stable Diffusion 3 Medium（0.74）。基准测试成绩表明Janus-Pro性能卓越。
　　训练成本大幅下降，开源模型或推动行业整体降本。采用数据规模和蒸馏方法等创新突破，DeepSeek训练成本十分低廉。Janus-Pro 1.5B和7B两款模型，分别在配备16、32个计算节点的集群上进行，每个节点装配8张Nvidia A100（40GB）GPU，总训练时间约为7、14天,总成本仅数万美元。同时，由于DeepSeek将Janus-Pro开源，现有AI应用厂商可以用开源模型和可控算力构建新AI大模型体系，进而有望带动多模态大模型全面降本，并加速应用落地。
（文章来源：财中社）