作者:高見,題圖來自:AI生成
“這段數(shù)據(jù)你查過嗎?”
“沒有,是AI寫的,看起來沒問題?!?/p>
趕在交稿日期截止的編輯周子衡看來,那段話“邏輯通順、語氣專業(yè)、甚至連百分比都標得剛剛好”,結(jié)果卻是憑空捏造;電商客服王萌的團隊,因為AI生成了一段“模板式話術(shù)”,誤發(fā)了不適用的退貨規(guī)則,客戶拿著截圖投訴,平臺只能賠錢認栽;職業(yè)講師蔡倩第一次用AI起草課件,就在直播中被學(xué)員問住,才發(fā)現(xiàn)那組“情緒價值”數(shù)據(jù),AI“編得像真的”;而一位產(chǎn)品經(jīng)理更早意識到問題,他自己就做AI產(chǎn)品,但他制定了團隊使用準則:AI生成的段落,不能直接決定任何事情。
這不是某種“AI作惡”的故事。這是一組關(guān)于AI幻覺的職場眾生相。
豆包、文心一言、DeepSeek、元寶……這些國產(chǎn)AI工具,正在大規(guī)模進入職場內(nèi)容流里。我們以為它們是工具,其實它們更像是一種“說得太像真的語氣”,讓每個使用者都可能在不經(jīng)意間交出判斷力。
在這場由幻覺構(gòu)成的信任測試中,沒有絕對安全的人。
有人把AI當思路發(fā)散,也有人開始給AI的每一句話貼標簽;有人被它坑過一次,就再也不讓它寫結(jié)論;有人在全權(quán)托付之后,才意識到——AI不會替你背鍋,幻覺也不會標紅。
坤輿商業(yè)觀察記錄了幾個用AI寫東西的人。他們不是專家,不是極客,只是每一個普通工作日里,和你我一樣,把“復(fù)制”“粘貼”“交稿”按下去的人。
他們遇見了AI,也開始重新理解什么叫“自己負責(zé)”。
一、新媒體編輯:“那段引用是AI編的,我都沒檢查”
周子衡是一家互聯(lián)網(wǎng)科技內(nèi)容平臺的編輯。日常就是不停寫稿、改稿、配圖、校對,節(jié)奏快、壓力大,最怕出錯,也最怕拖稿。
一年前,他開始習(xí)慣性地用豆包幫自己“提速”。
有一次,他在趕一篇關(guān)于消費電子的行業(yè)稿,寫到一半臨時需要補一段“市場份額的變化趨勢”。他輸入指令,讓AI幫他寫一個關(guān)于“2024年中國智能手機市場結(jié)構(gòu)變化”的分析段。
AI很快給出了一段數(shù)據(jù)看起來很清楚的內(nèi)容——其中寫道:“根據(jù)2024年第三季度某調(diào)研機構(gòu)數(shù)據(jù)顯示,某國產(chǎn)品牌以18.6%的市場份額排名第一,同比上升3.2個百分點。”
這段話看起來毫無問題。數(shù)據(jù)精確、語氣專業(yè)、語法順滑,還有“同比上升”這樣的細節(jié)增強說服力。他沒再多想,直接復(fù)制進了文稿里。
直到第二天主編審稿時,只留下一句評論:“這個數(shù)據(jù)誰查的?報告名是什么?”
周子衡當場愣住,開始翻找原始來源。結(jié)果在所有主流機構(gòu)(Canalys、Counterpoint、IDC)官網(wǎng)上都找不到這組數(shù)字。報告標題也查無此文。
那段AI生成的內(nèi)容——完全是編的。
“最可怕的不是它胡說,而是它說得像真的?!?/span>他回憶。
事后他用同樣的提問重新試了一次,發(fā)現(xiàn)AI每次寫的數(shù)據(jù)段都略有不同,報告名、數(shù)值、變化幅度沒有一項一致?;糜X不是偶然,而是一種常態(tài)。
他告訴自己以后“一定要驗證”,但在很多時候,面對高強度稿件節(jié)奏、碎片化補寫需求,他也承認,“有時候就真的沒空管了”。
現(xiàn)在,他已經(jīng)不再用AI生成帶數(shù)據(jù)的段落了。結(jié)構(gòu)、語言、框架還可以讓AI輔助,但只要出現(xiàn)“報告”“數(shù)字”“來源”這些關(guān)鍵詞,他都會直接跳過,“那種句子看起來是對的,但大部分的時候你查不到出處”。
他貼在工位上的一張便利貼上寫著八個字:“AI寫得快,出錯更快”。
二、電商客服:“AI說支持退貨,客戶讓我們賠錢”
王萌在一家電商平臺做客服主管,管著一個十幾人的小團隊。去年,公司開始引入一套基于國產(chǎn)大模型的AI話術(shù)輔助系統(tǒng),能自動生成售后場景中的標準回復(fù),比如物流延誤解釋、退款規(guī)則說明、簽收流程提示等。
起初,效果很不錯。
在高峰期時,這套系統(tǒng)幫客服節(jié)省了近30%的打字時間??头恍枰斎雴栴}關(guān)鍵詞,就能快速調(diào)用一段模板化回復(fù),再手動做個性化調(diào)整,效率高了不少。
直到春節(jié)前的一次售后爭議。
一位客戶申請退貨,原本被駁回,因為商品屬于“限時秒殺,售出不退”類目。但幾分鐘后,客戶在平臺發(fā)來一張截圖,顯示客服回復(fù)中明確寫道:
“根據(jù)平臺規(guī)則,您在簽收后七天內(nèi)享有無理由退貨權(quán)利。”
這段話不是人工打的,而是AI生成并自動插入的??头敃r操作匆忙,直接發(fā)送了回復(fù),沒有修改。
問題是,該商品頁面明確標注“不支持無理由退貨”。
客戶據(jù)此投訴平臺“誤導(dǎo)性承諾”,要求退款。最后公司決定對客戶做一次性賠付處理,并在內(nèi)部通報此事。王萌回溯聊天記錄,確認這段話確實是系統(tǒng)生成的模版內(nèi)容。
“它沒有說錯平臺規(guī)則,但它不知道這個商品不適用。”王萌說。
那次之后,公司立刻調(diào)整AI功能權(quán)限,關(guān)閉“自動插入回復(fù)”選項,只保留“人工確認后發(fā)送”機制。她也重新做了一輪培訓(xùn),要求坐席團隊重新學(xué)習(xí)不同品類的售后條款。
“AI不是真的理解規(guī)則,它只是預(yù)測我們會怎么說?!彼f,“但客服不能靠預(yù)測來應(yīng)對例外?!?/span>
三、培訓(xùn)講師:“我第一次用AI做課件,它就給我編了一個概念”
蔡倩是一名職業(yè)培訓(xùn)講師,做的是偏職場技能類的課程,有時候是平臺直播,有時候是企業(yè)內(nèi)訓(xùn)。她講得較多的是“如何做品牌定位”“短視頻營銷路徑”這類話題,節(jié)奏緊、信息量大,對內(nèi)容更新也要求極高。
去年她第一次接觸AI寫作工具,是在備一場線上課時。
那節(jié)課要講“品牌情緒價值”,她覺得AI可以幫她節(jié)省一部分找例子的時間。她讓AI生成一個開場段落,希望它能提供一組“當代年輕人情感消費偏好”的數(shù)據(jù),引入情緒價值的核心概念。
AI的反應(yīng)幾乎完美——幾秒鐘后,給她寫出一段邏輯順暢、語氣嚴謹?shù)亩温?,里面引用了一組“六成以上年輕人偏好具有情緒表達的品牌”類的比率,并提到這來自“最新調(diào)研”。
她讀完沒懷疑,語氣“太像PPT了”,一段直接貼上第一頁。
直播當天,她剛講完開場部分,一個學(xué)員在評論區(qū)留言:“老師請問這份調(diào)研出自哪里?我們公司想?yún)⒖家幌?。?/p>
她下意識一愣,試著回憶出自哪里,結(jié)果想不起來。課后她查了多個公開數(shù)據(jù)平臺,完全找不到類似數(shù)據(jù),也找不到那組數(shù)字。她終于明白,那段“引用”,其實是AI憑空拼接的幻覺。
“它寫得太像真的了。”她說,“我第一次用它,就中了招?!?/p>
從那之后,她就設(shè)了一條規(guī)矩:只讓AI提供結(jié)構(gòu)建議,不再接受它寫出來的“事實”。凡是出現(xiàn)數(shù)字、百分比、時間節(jié)點的地方,她都要手動查證兩次。
“它最大的問題是太能模仿‘專業(yè)話術(shù)’了,模仿得越像,我們越容易放棄判斷?!彼f,“但我在課堂上要對每一句話負責(zé),它不用?!?/span>
四、AI產(chǎn)品經(jīng)理:“我是做AI的,但我從不讓它拍板”
高哲所在的公司,是一家做To B智能應(yīng)用的AI創(chuàng)業(yè)團隊。他負責(zé)產(chǎn)品設(shè)計,跟各種國產(chǎn)大模型打交道的時間,比起普通用戶要早上兩年。
他幾乎每天都在用AI。
需求文檔、競品分析、PRD草稿、用戶故事地圖、市場調(diào)研報告……他給自己定了一套“效率模板”:用AI起草結(jié)構(gòu)、快速歸類觀點、統(tǒng)一術(shù)語措辭,節(jié)省前60%的腦力負擔(dān)。剩下40%,再自己修改和打磨。
“不是我信它,是我太熟它。”他說。
他對AI幻覺的警覺,來自一次“內(nèi)部演示事故”。
那天他用文心一言寫了一段關(guān)于行業(yè)發(fā)展趨勢的說明,希望在會議上展示“AI在市場分析方面的輔助能力”。模型寫得非常流暢,包含年份、增速百分比、行業(yè)預(yù)測甚至引述了看似具體的“研究內(nèi)容”。
結(jié)果演示前10分鐘,他臨時決定復(fù)查一次,發(fā)現(xiàn)那段“預(yù)測”里引用的年份是錯的,“下滑2.7%”的描述也找不到任何出處,整個段落拼得太順了,順到讓人忽略了檢查這一步。
“我那時就意識到,不是它寫得不好,而是它寫得太像真的了?!备哒苷f,“它會生成一種‘話術(shù)級的自信’,但你根本不知道它有沒有在胡說。”
那次之后,他為自己團隊建立了一套機制:
AI生成的內(nèi)容,必須標注來源;凡是沒有來源的部分,必須經(jīng)過人工復(fù)核;涉及客戶交付或關(guān)鍵判斷的內(nèi)容,不允許AI直接定稿,必須由兩人以上確認。
他也在文檔協(xié)作平臺上設(shè)計了“AI片段提醒”功能:所有通過AI生成的段落,系統(tǒng)會自動添加“AI生成內(nèi)容”高亮標簽,便于團隊協(xié)作時一眼看出哪些內(nèi)容需要格外留神。
“AI不是寫手,它是個腦暴助手?!彼f,“你不能讓它幫你決策,只能讓它幫你發(fā)散?!?/p>
他有一個默認邏輯:AI只負責(zé)生成可能性,人負責(zé)篩選合理性。
現(xiàn)在他讓團隊里的年輕產(chǎn)品經(jīng)理也盡量使用AI——不是因為相信它更準,而是讓他們在工作中早一點意識到:“你終將要為AI的每一個建議負責(zé)?!?/span>
五、幻覺原理解析:“AI為什么會編?因為它根本不懂真假”
在語言模型的世界里,沒有“真假”,只有“可能性”。
AI幻覺,這個術(shù)語聽起來像是技術(shù)世界的詩意表達,本質(zhì)卻非常具體——它指的是大模型生成出語法正確、邏輯通順、但與事實不符的內(nèi)容。比如不存在的報告、編造的數(shù)據(jù)、拼接的結(jié)論。
它不是AI“出錯”,而是AI完成任務(wù)的方式本身就不依賴事實。
大多數(shù)人以為AI像搜索引擎,會“查找”正確答案。實際上,它更像是一個“超級自信的語言預(yù)測器”——你給它一個開頭,它根據(jù)龐大的語言訓(xùn)練數(shù)據(jù)來“猜測”下一個詞最可能是什么,拼出一段“看起來合理”的話。
它的訓(xùn)練目標,從來不是“說實話”,而是“說得像人”。
正因如此,它寫出來的段落往往句式順暢、術(shù)語專業(yè)、邏輯通順,甚至模仿得出“權(quán)威感”十足的引用方式。對用戶而言,這些特征讓人“降低了警惕”。
它不會撒謊,它只是編得太像真的了。
尤其在中文場景下,這種幻覺感更容易放大。
互聯(lián)網(wǎng)產(chǎn)業(yè)時評人彭德宇對坤輿商業(yè)觀察表示:一方面,中文表達具有高度的模糊性和結(jié)構(gòu)彈性:一個概念可以不定義、一個數(shù)字可以不標注出處、一個觀點可以沒有主語。模型在生成內(nèi)容時,更容易憑借“語言慣性”組織句子,而不自覺地跳過事實驗證。另一方面,中文開源語料中充斥著大量不標注來源的二手信息、模板化文章、商業(yè)軟文和平臺內(nèi)容,這些內(nèi)容在AI訓(xùn)練時沒有“事實權(quán)重”的區(qū)分——它會像人類學(xué)語言一樣,把“說得像樣”當成“就是對”。
這導(dǎo)致幻覺不是個別事件,而是一種結(jié)構(gòu)性風(fēng)險。
它最常出現(xiàn)在以下幾種情形:
引用內(nèi)容時:編造機構(gòu)名、白皮書、研究報告;
列數(shù)據(jù)時:拼接不相干的數(shù)字,甚至自創(chuàng)比例;
提及政策/法規(guī)時:使用過時信息或偽造條款;
生成結(jié)論時:拼湊常見邏輯鏈條,但事實基礎(chǔ)不存在。
而這些內(nèi)容恰恰是很多職場人最依賴AI的地方。
科大訊飛董事長劉慶峰曾表示,生成式人工智能存在幻覺,特別是深度推理模型的邏輯自洽性提升,使得AI生成內(nèi)容真假難辨。
360集團創(chuàng)始人周鴻祎也在兩會期間對媒體表示,AI幻覺雖然有利于文學(xué)創(chuàng)作,但在AI安全方面,幻覺可能會帶來嚴重問題,比如在醫(yī)療、法律、金融等專業(yè)領(lǐng)域,大模型一旦胡亂編造,就會帶來嚴重后果。
坤輿商業(yè)觀察也認為:“我們太容易把AI寫出來的東西,當成有出處、可信賴的內(nèi)容。其實,它只是比你更會寫‘像是有出處’的句子而已?!被糜X是生成式AI寫作不可避免的副產(chǎn)品。就像你教一個孩子說話,卻沒有告訴他什么是真假,他只會模仿大人說得像的方式去“復(fù)現(xiàn)世界”,但他并不理解這個世界。
六、平臺與用戶的應(yīng)對機制:“它不撒謊,但我們得學(xué)會設(shè)防”
在AI幻覺面前,沒有人能完全幸免。但越來越多的AI使用者,正在學(xué)會“設(shè)防”。
彭德宇認為:面對幻覺頻發(fā),并不只是用戶在承擔(dān)后果。越來越多的廠商也開始意識到:讓AI“說得像”,并不等于“說得對”。沒有廠商敢說“我們解決了幻覺”,但至少他們開始正視它——開始標注、攔截、約束,試圖用一層層提示詞、審核線、知識庫,把這個問題包裹起來,不讓它輕易流向公眾。
只是幻覺的根本問題,至今依然懸而未決。模型的底層邏輯仍在預(yù)測詞語,而不是判斷事實。AI依然不會主動告訴你:“這句話,我其實是編的。”但平臺能做的畢竟有限?;糜X不是“個別錯誤”,它是AI生成機制的一部分。要徹底消除它,就像要求人類寫作永不出錯一樣——不現(xiàn)實?!迸淼掠钫f到。
正因為如此,越來越多的企業(yè)開始把“AI使用規(guī)則”納入日常管理制度:
內(nèi)容平臺要求員工在面對“AI輔助生成內(nèi)容”時多次校對;
品牌方在使用AI工具撰寫合同時,建立“二次審核”機制;
教育機構(gòu)提醒講師:“只用AI寫句式,不用它寫結(jié)論”。
這種變化背后的共識是:
AI的幻覺不可控,但責(zé)任必須明確。
AI不會替你做決定,也不會為一段錯誤引用道歉。它的工作是生成,而判斷仍屬于人。
AI進入職場的速度太快,快到很多人還沒來得及建立邊界。而幻覺,恰恰提醒我們:任何新工具的使用,必須在理解它的局限之后,才真正有價值。
七、“真正的智能,是在幻覺里保留判斷力”
AI幻覺不是一個技術(shù)瑕疵,它是我們必須一起面對的時代“共病”。
它不屬于某一個人,也不屬于某一個平臺。它藏在無數(shù)段邏輯通順、語氣專業(yè)的內(nèi)容背后,在我們懶得查證、來不及判斷、急著交差的時刻里悄然落地。
你用它補文案,我用它改合同,他用它寫腳本——AI就像空氣,滲入每一道內(nèi)容的縫隙。它讓我們變快,也讓我們可能變得太快,快到忘了驗證、忽略出處、放棄懷疑。
坤輿商業(yè)觀察采訪的幾位受訪者中,沒有一個人說“我以后再也不用AI”。
他們都還在用,甚至用得更多了。但他們變得小心了——有人只用它寫結(jié)構(gòu),有人只讓它提供措辭,有人干脆設(shè)置“標注標簽”,提醒自己:這段話,不一定是真的。
這或許是我們真正進入AI時代的標志:不是AI取代了誰,而是每個使用它的人,都必須重新學(xué)習(xí)“判斷”這件事本身。
技術(shù)沒有是非,它只是傾向于“像人類”。但人類之所以不同,不在于會說話,而在于愿意停下來,去分辨一句話是否可信。
真正的智能,不是讓AI替你思考,而是你知道它什么時候不該被信。
(根據(jù)要求,上述受訪人均為化名)
本文來自微信公眾號:坤輿商業(yè)觀察,作者:高見