ChatGPT回答編程問題錯(cuò)誤率超50% 仍能騙過三分之一的提問者
(相關(guān)資料圖)
據(jù)報(bào)道,美國(guó)普渡大學(xué)的研究發(fā)現(xiàn),OpenAI 開發(fā)的人工智能聊天機(jī)器人 ChatGPT 在回答軟件編程問題時(shí),錯(cuò)誤率超過一半,但仍能騙過三分之一的提問者。
該研究團(tuán)隊(duì)分析了 ChatGPT 對(duì) 517 個(gè) Stack Overflow 網(wǎng)站上的問題的回答,評(píng)估了其正確性、一致性、全面性和簡(jiǎn)潔性。他們還對(duì)回答進(jìn)行了語(yǔ)言和情感分析,并對(duì) 12 名志愿參與者進(jìn)行了問卷調(diào)查。
最終的結(jié)論是,ChatGPT的回答雖然語(yǔ)言風(fēng)格良好,但52%的回答是錯(cuò)誤的,77%是冗長(zhǎng)的。
同時(shí),參與實(shí)驗(yàn)的志愿者只有在回答中存在明顯錯(cuò)誤時(shí),才能發(fā)覺問題存在;其他情況下他們會(huì)被AI友好且細(xì)致的語(yǔ)言風(fēng)格誤導(dǎo)。
這無疑意味著,對(duì)于開發(fā)者來說,現(xiàn)階段的生成式AI距離作為編程時(shí)的輔助工具還有著較為遙遠(yuǎn)的距離,甚至可能會(huì)起到反作用。
不過,需要注意的是,OpenAI很早之前就在官網(wǎng)告知用戶,AI的回答“可能會(huì)產(chǎn)生關(guān)于人、地點(diǎn)或事實(shí)的不準(zhǔn)確信息?!?/p>
關(guān)鍵詞: