神秘顾客资讯

H100 GPU（图片着手：NVIDIA官网）

数周之前，芝加哥大学商学院的鲁海昊闇练发现，本来传统依赖英特尔/AMD CPU（中央处理器）芯片进行计较的数学打算求解器（Solver，下称“求解器”），如今却不错突破技能瓶颈。

具体来说，鲁海昊闇练团队通过实验发现，求解器概况通过英伟达GPU（图形处理器）和CUDA库函数，假想高效的数学打算算法cuPDLP来求解超大领域问题，并体现出了计较优胜性，其研发的cuPDLP软件（Julia版块）也考据了这少许。而该有计划效率日前发表在arxiv上。

而后，鲁海昊团队与斯坦福大学博士、杉数科技首席科学家葛冬冬闇练团队进行了细致互助：在最顶级的计较设施，英伟达GPU H100多显卡集群上，团队对我方研发的cuPDLP-C求解软件（C说话版块）进行了实验，考据GPU能否结束线性打算问题求解的“弯说念超车”。

钛媒体App获悉，2023年12月8日，杉数科技团队在中国运筹学会算法软件与应用分会成就大会上，报告了他们在英伟达H100 GPU显卡上，胜仗考据了cuPDLP-C求解超大领域线性打算问题（LP problem）的权臣上风。在多个经典测试集上，关于大领域问题，算法体现出了不亚于传统营业求解器的发达，况且在多个大问题上有光显求解上风。

举例，从求解效率来看，领域内驰名的测试问题zib03，比较四年前用CPU求解的16.5个小时（用英特尔至强E7-8880 v4），如今在英伟达H100下，cuPDLP-C求解计较时刻径直裁汰至916秒，时刻裁汰了64倍。

相较于2009年的CPLEX，计较时刻从139天到现在的15分钟，这十足颠覆了数学打算算法假想“惟有CPU能作念”的传统融会，“降维打击式”地援救了求解计较效率。同期，由于咫尺cuPDLP-C依然在GitHub上开源，因此通盘这个词效率也将让更多东说念主受益。

葛冬冬对钛媒体App暗意，“这件事兴味要紧，它将在翌日3-5年对通盘这个词运筹学从科研到产业都会产生强大转换。某种进程上，我以为它将开启一个运筹学科新的‘大帆海期间’。”

“有四点对领域的可能冲击吧。最先，这套算法念念想推行之后，不仅用在线性系统上，而且对通盘这个词阿谀优化领域都会产生影响，进而深化影响整数打估量较领域，这对应求解器应用场景中80%的问题；第二，GPU计议的一阶算法假想和奉行相对浅易，这将使得求解器社区部分模子对应的算法开源化；而专科求解器以后可能跟咫尺许多toB的AI公司相同，在专科求解和基于GPU的函数定制做事方面都不错发力，带来新的营业契机。第三，求解器会变得愈加嗜好硬件，将需要大量适配的专用高精度计较显卡，以及需要高效的库函数结束。国内许多 AI 芯片也不错应用，形成一个软硬一体化的生态；求解器以后的做事也更可能呈现一个软硬一体化绑定的做事才智。第四，有鉴于求解才智截止，通盘这个词运筹学有计划的中枢之一其实便是怎么将大问题领悟，分才略，或者降维求解，而跟着GPU求解算法的“暴力”求解大问题才智剧增，不错预期运筹学领域，也包括计议的多个商科和工科领域的科研范式和产业风物也将随之极大转换，甚而重塑。”葛冬冬告诉钛媒体App。

很赫然，通过GPU显卡的算力加捏，对依然发展70余年、迂腐且严谨的运筹学科将会带来改进性的冲击。

计较时刻裁汰杰出64倍，GPU芯片将加快求解更多复杂问题

运筹学是近代应用数学的一个分支，主若是有计划怎么将坐褥、管制等事件中出现的优化问题加以提取，然后利用数学步调进行惩办的学科。

好意思国物理学家，曾任加州大学柏克莱分校闇练的Charles Kittel早在1947岁首次提到“Operations Research”一词，中国则在1957年由中国工程院院士许国志、清华大学基础科部闇练周华章雅致命名为“运筹学”，并于1980年景就中国运筹学会（ORSC）。运筹学在全球发展于今已杰出70年。

其中，数学打算是将履行问题转动为数学模子并求解的流程。数学打算求解器动作这一流程的中枢软件，有益针对多种线性、整数和非线性打算模子进行算法优化。它不错被视为一个“黑盒子”系统，业界亦称之为算法领域的“芯片”。

求解器的垂危兴味在于，它能惩办生存中格外复杂的应用数常识题。举例，2018年平昌冬奥会的根除式上，中国接棒八分钟展示里出现的无东说念主仓机器东说念主引起全球眷注。但怎么计较这些机器东说念主的运行路子，为了确保这些机器东说念主运行高效且幸免碰撞，需要依赖最优算法，而背后依靠的便是求解器。

在此之前，求解器的中枢机较硬件大部分依赖于CPU（中央处理器）芯片，主要原因是CPU的通用才智不错更广博应用于宽阔计较系统和 算法结束，而且英特尔、AMD计议软件框架都格外皆全，非常是复杂高精度的多样矩阵运算，大大诽谤求解打算老本，并提高计较着力。

葛冬冬指出，芯片这类硬件是求解器底层的中枢设施。

永久以来，GPU取舍与CPU不同的底层架构，计较中枢数目、软件和性能处理决议与CPU的底层逻辑相反极大。而国表里科研东说念主员但愿概况通过GPU或是其他类型芯片可结束线性打算的加快计较，但屡次实验扫尾炫耀，GPU一直无法高效求解算法中的“矩阵求逆”或者“矩阵领悟“问题，不管是计较精度（物理原因）照旧并行计较，它都无法作念到。

“未能突破的原因是，求解器的中枢底层只若是这种阿谀优化问题，不管是线性还短长线性，传统算法中都躲不开怎么高效求解‘矩阵领悟’这一步。这个问题惩办不了，GPU几千个计较单元并行加快的上风就无法体现。”葛冬冬对钛媒体App暗意，“矩阵领悟”主要对应线性方程组求解，是计较最要津一步。一朝矩阵领域过大或者结构复杂，这个才略频频会酿成内存溢出或者求解时刻极长，成为求解枷锁。

杉数科技首席科学家葛冬冬闇练

早在2016年，葛冬冬长入几位当年在斯坦福的博士同学，共同成就了杉数科技，研制了第一个国产专科求解器，幸免受制于东说念主。如今，动作智能决策技能做事公司，杉数科技以其自研大领域商用求解器COPT为中枢引擎，打造了“计较引擎+决策技能中台+业务场景”的端到端智能决策技能平台，为滥用零卖、交通物流、能源电网、制造与供应链等多个行业提供数字化供应链惩办决议，利用运筹优化和机器学习找出更优的决策决议，全面援救产业链和供应链运营效率和效果。

葛冬冬此前向钛媒体App闪现，利用COPT数学优化求解器这种优化决策，不错使坐褥排程订单欣忭率提高20%，产能死亡率诽谤30%，排产排程东说念主工骚扰诽谤70%，非指标维修诽谤15%。同期，杉数科技COPT数学优化求解器一直在全球求解器榜单中名列三甲。（详见钛媒体App前文：《超越阿里达摩院收货，神秘顾客资讯这个斯坦福团队用“国产求解器”助中国企业结束智能决策》）

而此前葛冬冬团队研发的COPT求解器系列，主若是利用CPU芯片进行计较处理的。

“事实上，昔日十几年，这个领域内，包括咱们，国表里学术界无数东说念主，都在前仆后继地致力于，试图回话这个问题：GPU/CUDA架构能否对数学打算求解器起到弯说念超车的作用。此前的谜底一直为‘否’。”葛冬冬暗意。

关联词，2023年11月初，葛冬冬的互助伙伴，鲁海昊闇练在arXiv上发表了一篇论文，他们公开的cuPDLP代码，通过GPU硬件胜仗惩办了线性打算求解计较问题，可用在这段Julia代码中求解线性打算。

葛冬冬说：“鲁古道突破这一永久瓶颈的技能决议，是他们不雅察到以前的CPU/GPU搀和架构求解中，CPU/GPU之间的交互频频占用了绝大部分耗时，因此他们在此前他们与谷歌互助建立的PDLP求解器基础上（此求解器不错很好惩办GPU计较精度无法达到10^-8精度条目的截止），将整套算法搬到了GPU/CUDA架构下结束。捅破了临了一层窗户纸！”

而后，鲁闇练与葛冬冬闇练指点的杉数COPT团队细致互助，提议开源技能决议cuPDLP-C，即用一阶步调在GPU上惩办线性打算问题，亦然Julia版块cuPDLP.jl的C说话加强版，算法上也作念了进一步的改善和提高。

与此同期，通过在咫尺最强的显卡H100上的实验发现，在运筹学最经典的测试集MIPLIB2017的383个线性温和测试问题求解中，以10^-4 精度条目，cuPDLP-C依然不错求解到379个问题，而以严格敛迹的法式10^-8 精度条目，cuPDLP-C也不错求解到369个问题。总体求解时刻与咫尺最佳的营业求解器的差距也拉近到了2倍（10^-4精度）和6倍（10^-8）精度之内。在测试集那些大问题中的差距光显更小，在10^-4精度下甚而体现出了计较上风。此外，葛冬冬团队还在多个更大领域问题上进行了广博测试，cuPDLP-C的上风光显，举例zib03问题加快了64倍，而多个更大领域的测试问题，如在谷歌的Pagerank、某国内大企业供应链容颜问题、经典的二次分派问题（QAP）等问题的测试上，传统求解器都无法求解，而cuPDLP-C不错作念到可行时刻内求解。

很赫然，关于超大数学打算问题，在性能、计较速率、求解数目等方面，GPU都能比CPU都展现出了更好的远景。

杉数科技资深副总裁，技能负责东说念主皇甫博士对钛媒体App暗意，利用GPU硬件，现在cuPDLP-C不错让之前难以惩办的大领域优化问题变得易于惩办，股东了模子建立的精准度和领域。以前因CPU截止而取舍的格外精密复杂的一些求出恭段可能不再需要。此外，一朝GPU提速上百倍，cuPDLP-C求解上风可能拓展到其他阿谀优化领域，极大加快求解流程，让本来耗时的问题快速获取惩办，从而怒放新的应用可能性。

葛冬冬告诉钛媒体App，“这很恐怖。关于运筹学来说，这一技能不测突破了一个永久以来的定论，即GPU在求解数学打算问题上没什么加快效果。这一发现会让通盘这个词学术和工业界感到讶异，因为之前从未有东说念主预感到这种情况。”

他强调，cuPDLP-C技能推翻了运筹学科永久以来的一些共鸣和定式，超出东说念主们预期，利用GPU提高了求解器的性能后劲，可能使运筹学结束从CPU到GPU计较带来的“范式革新”。

咫尺，cuPDLP-C技能代码依然开源，计论说文也依然公开荒表在arXiv上。GitHub地址：https://github.com/COPT-Public/cuPDLP-C

20年性能提高约7000倍，GPU老本过高是否将制约行业发展？

昔日一年，以ChatGPT为代表的生成式 AI 技能风靡全球。而动作以95%的阛阓占有率驾御了全球 Al 磨真金不怕火芯片的英伟达，成为了这轮 AI 混战的最大赢家，其研发的A100/A800、H100/H800等多款 AI 芯片成为 AI 高涨中的“爆品”。

正如英伟达我方所说：“GPU 依然成为东说念主工智能的珍稀金属，甚而是黄金，因为它们是咫尺生成式 AI 期间的基础。”

从技能角度来说，GPU优于CPU，非常是在并行计较才智、能耗效率和CUDA生态等方面，它的高算力和可膨胀性使英伟达GPU成为AI加快芯片阛阓的首选。

字据斯坦福大学最近发布的一项报告炫耀，自2003年以来，GPU性能提高了约7000倍，单元性能价钱也提高了5600倍。该报告还指出，GPU是股东 AI 技能最先的要津能源。

英伟达首席科学家Bill Dally曾经暗意，NVIDIA GPU在昔日十年中将 AI 推感性能提高了1000倍。

从运筹学角度来看，将CPU替换为GPU，计较才智、计较效率大幅援救。但问题在于，国内不错买到的H100/H800、A100/A800的价钱都依然杰出20万/张，再加上存储、NVLink互连、运维老本等，比较CPU，基于GPU的求解老本将进一步登攀。

那么，求解计较的基础设施老本，是否会成为翌日求解器乃至运筹学发展的垂危制约成分？

葛冬冬对钛媒体App暗意，咫尺仅仅基于GPU架构的优化算法的“开荒期”。咫尺，他们依然与多家国产 GPU芯片厂商开展了广博的测试互助，但愿概况利用国产算力股东中国求解器行业发展。照实有部份国产GPU芯片依然具备了跑通算法的才智，然则也照实，还需要在芯片速率和库函数完备进程上作念进一步援救。

而且，他以为，杉数也依然积极与营业伙伴驱动积极探索这一技能的落地与应用远景。咫尺依然驱动在电力系统的出清转机问题这一大领域复杂系统问题上，与南网总调互助，探寻诳骗GPU架构的优化求解算法来加快求解计较的有计划。

谈及开源与营业化的话题，葛冬冬以为，把cuPDLP-C开源不错股东行业进一步发展，关于营业化求解器来说细则会有一定冲击，但GPU求解大领域问题的新念念路也带来了强大的契机，咫尺来看，杉数科技在中枢技能、营业化等层面还有格外最先的阛阓竞争上风。

“新的大门依然推开。昔日20年，世界一直在尝试推开，但门被‘锁’死了。现在等于是发现‘锁’能打碎，门是能推开的。这就意味着运筹学算法又投入了一个新的‘大帆海期间’，一个堪比‘西部掘金热’的期间。咱们依然走出（开源）这一步。咱们对我方的技能有信心，昔日七年，从无到有，再到国外最先，杉数一直都在科研、技能和实践应用上，是国内求解器阛阓的领航者。在这个经咱们的手怒放的新期间，我坚信，咱们是不会落伍的。”葛冬冬暗意。

（，作家｜林志佳）