315重磅：AI換臉視頻真假難辨！手機(jī)二手主板隱藏驚天黑產(chǎn)。
作者 | 云鵬 李水青
智東西3月16日?qǐng)?bào)道，昨天晚上，年度“打假夜”央視3.15晚會(huì)如約而至，今年爆火的生成式AI技術(shù)“闖禍了”。
這是不久前央視3.15欄目記者調(diào)查到的真實(shí)事件：一位女士接到女兒被綁架的電話，對(duì)方開口就要敲詐80萬元，傳來的女兒的哭聲令女士慌了陣腳。實(shí)際上，這哭聲是犯罪分子通過AI擬聲技術(shù)偽造出來的。
一個(gè)公司職員收到了老板的視頻電話，在指導(dǎo)下把186萬元轉(zhuǎn)了出去，但后來卻得知老板并沒有跟他視頻通話。原來，這個(gè)視頻中的老板是犯罪分子利用AI技術(shù)合成的假老板。
深度偽造不是一項(xiàng)全新的技術(shù)，但過去一年生成式AI技術(shù)的爆發(fā)大大降低了其門檻，增強(qiáng)了偽造的真實(shí)感，這才使得不法分子的騙術(shù)變得更加防不勝防。
除了生成式AI技術(shù)登上今年315，圍繞智能手機(jī)主板和互聯(lián)網(wǎng)水軍也曝出令人咋舌的不法黑產(chǎn)。
有不法商家把廢舊的百元手機(jī)主板集合在一起，做成充當(dāng)網(wǎng)絡(luò)“水軍”的手機(jī)主板機(jī)，操縱游戲、操縱發(fā)帖數(shù)量，操控網(wǎng)絡(luò)投票，甚至成為網(wǎng)絡(luò)世界里可以操控一切的王者，并給信息安全帶來不小的麻煩。
AI、消費(fèi)電子、云計(jì)算等技術(shù)正在把我們帶進(jìn)一個(gè)萬物互聯(lián)的智能新世界，但與此同時(shí)一些網(wǎng)絡(luò)黑產(chǎn)和不法行為也開始出現(xiàn)，讓我們每個(gè)人都不得不提高警惕。
推薦智東西年度會(huì)議。 4月18-19日，2024中國生成式AI大會(huì)將在北京舉行。 免費(fèi)報(bào)名或購票通道開放中，期待你的參會(huì)~
01 .
AI換臉換聲以假亂真
但“摸摸臉、摸摸鼻子”就能破解
這次，AI換臉變聲上了315。
AI技術(shù)被詐騙分子利用，竟然可以有如此嚴(yán)重的影響，315上的鮮活案例給我們敲響了警鐘。
作為315晚會(huì)的保留項(xiàng)目之一，信息技術(shù)實(shí)驗(yàn)室這次公布了一系列利用AI技術(shù)進(jìn)行的“新型詐騙”。
雖然科技含量不高，但套路滿滿，讓人防不勝防。
第一個(gè)案例，是一位女士睡著覺突然接到了女兒被綁架的電話。電話中一開始傳來的是女兒的哭聲，然后女兒說自己被綁架了。這位女士還沒來得及回答，電話就被另一個(gè)人搶走，這個(gè)人說要她準(zhǔn)備80萬元，女兒在他手上。
報(bào)警后，警方最終確認(rèn)女兒并未被綁架。結(jié)果證明，這通電話是由詐騙分子借用虛擬號(hào)碼，再通過AI擬聲技術(shù)進(jìn)行的詐騙行為。
第二個(gè)案例，一位男士接到國外好友的求助，說是買機(jī)票遇到了難題，由于國際漫游限制，讓他幫忙轉(zhuǎn)賬給航空公司。
當(dāng)然，一開始因?yàn)樯婕板X財(cái)，這位男士并不信任對(duì)方，但這位朋友打了視頻電話過來，視頻中竟然是“朋友本人”，所以他就相信了。
隨后朋友以國外網(wǎng)絡(luò)不好迅速掛斷了電話，發(fā)來了相關(guān)轉(zhuǎn)賬信息，最終騙走了這位男士的49000多元。
后來這位男士跟朋友本人聊天才發(fā)現(xiàn)自己被騙了。
第三個(gè)案例，是一個(gè)公司職員收到了老板的視頻電話，讓她立刻轉(zhuǎn)賬186萬元到一個(gè)指定賬號(hào)，由于聲音、圖像都跟老板本人一樣，所以這位職員就相信并將款項(xiàng)轉(zhuǎn)了過去。
但隨后當(dāng)這位職員上傳憑證給財(cái)務(wù)時(shí)，才發(fā)現(xiàn)老板根本既沒有跟她視頻通話，也沒有下達(dá)過轉(zhuǎn)賬的指示。
報(bào)警后，警方對(duì)接反詐中心，聯(lián)系相關(guān)銀行緊急止付，最終追回了156萬元。
顯然，這些案件背后，都是犯罪分子利用AI技術(shù)對(duì)人的面部形象、說話聲音進(jìn)行了模仿。受害者眼見不一定為實(shí)，耳聽的也有可能為虛。
警方提醒稱，不管是AI擬聲，還是AI視頻通話，時(shí)間一般都很短，只有幾秒鐘。
這主要是因?yàn)檫@些視頻通話中用到的都是提前制作好的仿冒視頻，在目前技術(shù)條件下，想要在點(diǎn)對(duì)點(diǎn)的視頻實(shí)時(shí)通話過程當(dāng)中實(shí)現(xiàn)仿真程度極高的AI換臉是很難的，這需要繞過視頻通話軟件的安防體系，其次還需要投喂大量的數(shù)據(jù)、專業(yè)算法的支撐和不斷迭代，才可以實(shí)現(xiàn)。
比較好的辨別方法就是，在視頻通話的時(shí)候覺得可疑的話，可以讓對(duì)方摸摸臉、按一下鼻子，這些動(dòng)作會(huì)對(duì)面部數(shù)據(jù)造成干擾，偽造的人臉就會(huì)產(chǎn)生抖動(dòng)、閃現(xiàn)。
當(dāng)然，不隨意接聽陌生來電，減少個(gè)人人臉、聲音信息的泄露，也是比較重要的。
02 .
100元一塊的報(bào)廢手機(jī)主板
成網(wǎng)絡(luò)世界的毒瘤
大家在生活當(dāng)中是不是經(jīng)常會(huì)收到一些垃圾信息、低劣廣告或是推廣視頻，這究竟是怎么回事？
其實(shí)秘密就在一塊報(bào)廢手機(jī)的主板當(dāng)中。
有不法商家把這些手機(jī)主板集合在一起，做了一款手機(jī)主板機(jī)。它不僅會(huì)給消費(fèi)者帶來種種的困擾，甚至還會(huì)給信息安全帶來不小的麻煩。
據(jù)記者調(diào)查，有廠家宣稱，20塊手機(jī)主板組裝成一臺(tái)主板機(jī)，一個(gè)人就可以組建成千上萬臺(tái)手機(jī)的網(wǎng)絡(luò)矩陣，虛假地修改發(fā)布地址，執(zhí)行同一個(gè)操作。
這類二手手機(jī)主板一塊的價(jià)格在100元到150元之間，一臺(tái)主板機(jī)成本至少需要2000多元。擁有這樣的設(shè)備，在網(wǎng)絡(luò)世界里，這個(gè)人可以操縱游戲、操縱發(fā)帖數(shù)量，操控網(wǎng)絡(luò)投票，成為網(wǎng)絡(luò)世界里可以操控一切的王者。
使用這些機(jī)器的人是誰？
記者在一家名為云承未來科技的公司碰到一位前來購買主板件的經(jīng)理，他是某電商平臺(tái)的推廣負(fù)責(zé)人，工作內(nèi)容就是廣發(fā)信息，推廣獲客。
《中華人民共和國反不正當(dāng)競(jìng)爭(zhēng)法》第12條明確規(guī)定，經(jīng)營者不得利用技術(shù)手段，通過影響用戶選擇或者其他方式實(shí)施妨礙、破壞其他經(jīng)營者合法提供的網(wǎng)絡(luò)產(chǎn)品或者服務(wù)正常運(yùn)行的行為。
二手手機(jī)主板機(jī)操控網(wǎng)絡(luò)的違法之處不僅在此。
許多主板機(jī)配置清單上的手機(jī)主板很多并不具備入網(wǎng)資格。《中華人民共和國電信條例》第53條明確規(guī)定，接入公用電信網(wǎng)的電信終端設(shè)備、無線電通信設(shè)備和涉及網(wǎng)間互聯(lián)的設(shè)備，必須符合國家規(guī)定的標(biāo)準(zhǔn)，并取得進(jìn)網(wǎng)許可證。
03 .
結(jié)語：新興產(chǎn)業(yè)巨大利益誘惑
刺激黑產(chǎn)生長(zhǎng)，AI雙刃劍效應(yīng)凸顯
在今天的315晚會(huì)中，我們看到的案例更多是跟普通老百姓生活息息相關(guān)的，比如食品安全、消防安全、車輛安全、信息安全，其中也不乏與消費(fèi)科技和AI相關(guān)的新型違法犯罪。
二手手機(jī)主板回收再利用形成的“主板機(jī)”黑產(chǎn)，從根本上來說還是“需求驅(qū)動(dòng)”的，如今直播行業(yè)熱度頗高，流量經(jīng)濟(jì)中存在不少“灰色地帶”，如果不能從源頭規(guī)范平臺(tái)制度，主板機(jī)還會(huì)以其他形式繼續(xù)滋長(zhǎng)。
與此同時(shí)，我們看到AI技術(shù)在深入我們生活的過程中，也帶來了一些風(fēng)險(xiǎn)，違法犯罪分子利用AI技術(shù)實(shí)現(xiàn)了更難以識(shí)別的“換聲換臉”詐騙。當(dāng)下AI給千行百業(yè)帶來了增長(zhǎng)新動(dòng)能，各行各業(yè)也應(yīng)當(dāng)在應(yīng)用AI技術(shù)的過程中嚴(yán)格規(guī)范。
普通消費(fèi)者在享受AI帶來便利的同時(shí)，也應(yīng)當(dāng)提高自身對(duì)新型AI詐騙的敏感性。