7月23日凌晨，有人爆料，Meta的Llama3.1-405B評測數(shù)據(jù)遭遇泄漏，明天可能會發(fā)布Llama3系列中最大的參數(shù)模型，同時還會發(fā)布一個Llama3.1-70B版本。
這也是在3.0版本基礎(chǔ)之上進(jìn)行了功能迭代，即便是70B的基礎(chǔ)模型的性能也超過了GPT-4o。
就連磁力鏈接都流出來了，「AIGC開放社區(qū)」試了一下大約有763.84G。本來huggingface上也有的，后來庫被刪除了。
磁力地址:
Magnet: magnet:?xt=urn:btih:c0e342ae5677582f92c52d8019cc32e1f86f1d83&dn=miqu-2&tr=udp%3A%2F%https://2Ftracker.openbittorrent.com%3A80
下載速度也還可以，每秒14M左右，看來確實(shí)是有不少人在下這個模型。
但這個模型一般的GPU肯定是跑不起來，如此大的參數(shù)在部署方面?zhèn)€人開發(fā)者也負(fù)擔(dān)不起（如果你有一些H100也沒問題），估計是給企業(yè)、政務(wù)公共部門用的。
對于Meta即將發(fā)布的模型，就有網(wǎng)友潑冷水。相比OpenAI最新的GPT-4o mini版本，Llama3.1-70B推理成本提升了3倍，但編碼的性能卻要差很多。
從性價比、功能來看，Meta的新模型也沒什么值得期待的。
還有人甚至在GitHub上看到了上述發(fā)布的模型，但很快就拿下來了，估計有一些人可能已經(jīng)能使用了。
也有人表示，對于這個泄漏事件他認(rèn)為是真的，因?yàn)檫@是從微軟的Azure Github流出來的。
但是這個模型參數(shù)較大，對GPU的要求太高了，不如GPT-4o mini性價比高。
雖然模型是免費(fèi)的，想運(yùn)行起來還是相當(dāng)費(fèi)勁的，沒有企業(yè)級的算力基礎(chǔ)真的無法使用。所以，這對于企業(yè)來說是一個不錯的好消息。
有人指出即便對Llama3.1-405B模型進(jìn)行大幅度優(yōu)化，量化到5位數(shù)，仍然無法適用于消費(fèi)級GPU，真的是對硬件要求特別高。
如果這份評測數(shù)據(jù)是真的，那么對于全球多數(shù)國家來說都是一個天大的福利。因?yàn)檫@是Meta的Llama3系列的頂級模型并且是全部開放權(quán)重，也就是說人人都能用上免費(fèi)的AI模型。
但是如果想開發(fā)生成式AI應(yīng)用，也需要強(qiáng)大的AI算力基礎(chǔ)、高質(zhì)量數(shù)據(jù)以及微調(diào)技術(shù)。
由于監(jiān)管機(jī)構(gòu)和各種法案的原因，Meta一直在推遲405B系列模型的發(fā)布。那么，本次泄漏是否是Meta特意放出來的呢，因?yàn)檫@是他們的老傳統(tǒng)了，去年的Llama模型就干過一次，
當(dāng)時「AIGC開放社區(qū)」也測試過，確實(shí)就是他的原模型。期待一波明天，看看Meta還能整啥花活。