芯耀
919
蘋果的AI功能再次推遲發(fā)布。據(jù)彭博社3月21日爆料，蘋果CEO蒂姆·庫(kù)克對(duì)當(dāng)前AI團(tuán)隊(duì)的表現(xiàn)已失去信心，并決定更換該團(tuán)隊(duì)的負(fù)責(zé)人。這一消息引發(fā)了業(yè)界的廣泛關(guān)注。
盡管目前來(lái)看，蘋果在人工智能領(lǐng)域的進(jìn)展似乎稍顯滯后，但作為科技行業(yè)的領(lǐng)軍企業(yè)，蘋果憑借其獨(dú)特的生態(tài)系統(tǒng)、強(qiáng)大的硬件整合能力以及龐大的用戶基礎(chǔ)，依然具備顯著的優(yōu)勢(shì)。這些條件為AI技術(shù)的應(yīng)用提供了廣闊空間。
基于此，本文將為您詳細(xì)介紹蘋果的智能系統(tǒng)Apple Intelligence。
Apple Intelligence是一套由蘋果公司推出的個(gè)人智能化系統(tǒng)，它深度集成于iOS 18、iPadOS 18和macOS Sequoia中，旨在通過(guò)結(jié)合生成式AI與個(gè)人使用場(chǎng)景，為用戶提供實(shí)用且相關(guān)的智能化功能。
Apple Intelligence的發(fā)布?xì)v程
2024年6月：蘋果首次公開(kāi)展示其生成式 AI 技術(shù)，在全球開(kāi)發(fā)者大會(huì)上，Apple Intelligence 作為 iOS 18、iPadOS 18 和 macOS Sequoia 的一部分首次亮相。
2024年7月：蘋果計(jì)劃在 10 月的軟件更新中開(kāi)始向客戶推出 Apple Intelligence。
2024年8月：推送了 iOS 18.1、iPadOS 18.1 和 MacOS 18.1 的 Beta2 版本，更新了部分功能。
2024年10月：Apple Intelligence 功能正式公開(kāi)上線。
2024年12月：全新的 iOS/iPadOS 18.2 系統(tǒng)為 Apple Intelligence 帶來(lái)了多種語(yǔ)言支持，首批語(yǔ)言支持會(huì)隨軟件更新并于 2025 年 4 月發(fā)布。
Apple Intelligence主要功能
?書(shū)寫工具：可校對(duì)文本的拼寫和語(yǔ)法錯(cuò)誤，提供友好、專業(yè)和簡(jiǎn)潔等寫作風(fēng)格供選擇，還能創(chuàng)建段落、提取關(guān)鍵點(diǎn)、制作列表或創(chuàng)建表格。
Siri 改進(jìn)：激活 Siri 時(shí)，顯示屏邊緣會(huì)有新的發(fā)光特效，Mac 上 “Siri” 窗口可隨意放置。Siri 能維護(hù)請(qǐng)求之間的上下文，可回答有關(guān)設(shè)備功能和設(shè)置的問(wèn)題。
?郵件功能：新增摘要按鈕，能總結(jié)收到的電子郵件，會(huì)優(yōu)先顯示緊急郵件。智能回復(fù)可根據(jù)郵件內(nèi)容提供上下文選項(xiàng)。
?信息應(yīng)用：Messages 應(yīng)用支持智能回復(fù)選項(xiàng)，能分析消息內(nèi)容并提供回復(fù)建議。
?照片應(yīng)用：支持記憶功能，用戶可以使用自然語(yǔ)言創(chuàng)建幻燈片、進(jìn)行照片和視頻搜索。還新增清理工具，可刪除照片中分散注意力的元素。
?通話錄音：在 Notes 或 Phone 應(yīng)用中點(diǎn)擊 “錄音” 即可捕獲錄音和文字記錄，并生成錄音信息摘要。
Safari：在閱讀器模式下閱讀文章時(shí)，可讓 Apple Intelligence 為用戶總結(jié)文章。
?視覺(jué)智能：iPhone 16 系列中可通過(guò)相機(jī)控制按鈕了解世界，幫助用戶即時(shí)了解物體和地點(diǎn)。
為什么Apple Intelligence值得關(guān)注？
Apple Intelligence值得特別關(guān)注，原因如下：
AI手機(jī)市場(chǎng)份額增長(zhǎng)： 2027年，AI手機(jī)出貨量預(yù)計(jì)將超過(guò)5億部，占智能手機(jī)總出貨量的40%以上。
?軟硬件整合優(yōu)勢(shì)： 蘋果在軟件、硬件與系統(tǒng)服務(wù)內(nèi)部整合方面相當(dāng)有優(yōu)勢(shì)，能迅速將AI功能擴(kuò)展到不同Apple設(shè)備，生態(tài)圈也相較完整。這種整合是競(jìng)爭(zhēng)對(duì)手難以成功追趕的關(guān)鍵。
?生態(tài)系統(tǒng)集成與用戶粘性： Apple Intelligence與蘋果硬件和軟件生態(tài)系統(tǒng)的緊密集成，旨在增強(qiáng)用戶與iPhone、iPad和Mac設(shè)備的交互，提升用戶體驗(yàn)，可能會(huì)進(jìn)一步增強(qiáng)用戶對(duì)蘋果產(chǎn)品的鎖定和忠誠(chéng)度。蘋果擁有15億部iPhone和23億部iOS設(shè)備，這是一個(gè)很強(qiáng)大的基礎(chǔ)優(yōu)勢(shì)，并將創(chuàng)造一個(gè)新的人工智能驅(qū)動(dòng)的增長(zhǎng)故事。
AI驅(qū)動(dòng)的增長(zhǎng)： 隨著開(kāi)發(fā)者使用Apple Intelligence創(chuàng)建成百上千個(gè)新應(yīng)用程序，這項(xiàng)技術(shù)將成為公司新“增長(zhǎng)復(fù)興”的基礎(chǔ)。這些新應(yīng)用程序?qū)⒃谖磥?lái)幾年內(nèi)帶來(lái)“數(shù)十億美元的增量服務(wù)增長(zhǎng)”，包括應(yīng)用商店的收入。
Apple Intelligence核心技術(shù)特點(diǎn)
1、深度集成與應(yīng)用
Apple Intelligence深度集成于iOS、iPadOS和macOS中，充分利用蘋果自家芯片（如A17 Pro和M系列）在語(yǔ)言和圖像理解方面的強(qiáng)大能力。這種深度集成使得用戶能夠無(wú)縫地在不同應(yīng)用之間進(jìn)行操作，從而簡(jiǎn)化日常任務(wù)。例如：
?智能寫作工具: 用戶可以通過(guò)Apple Intelligence進(jìn)行文本編寫、校對(duì)和潤(rùn)色，甚至可以生成郵件摘要，提高工作效率。
?跨應(yīng)用操作: Apple Intelligence能夠根據(jù)用戶的上下文自動(dòng)執(zhí)行跨應(yīng)用程序的操作，例如根據(jù)郵件內(nèi)容自動(dòng)創(chuàng)建日歷事件，或從照片中提取信息填寫表格。這種能力使得用戶能夠更高效地管理時(shí)間和信息。
2、模型構(gòu)成
Apple Intelligence包含多個(gè)高性能生成模型，這些模型專為用戶日常任務(wù)設(shè)計(jì)，并能動(dòng)態(tài)適應(yīng)用戶當(dāng)前活動(dòng)。具體包括：
?AFM（Apple Foundation Model）: 這是一個(gè)約30億參數(shù)的設(shè)備端語(yǔ)言模型，經(jīng)過(guò)優(yōu)化以實(shí)現(xiàn)高效運(yùn)行，并具備強(qiáng)大的語(yǔ)言理解和生成能力。
AFM-server: 這是一個(gè)基于服務(wù)器的大型模型，用于處理更復(fù)雜的任務(wù)，并與PCC協(xié)同工作，以提供更強(qiáng)大的計(jì)算能力。
3、端側(cè)優(yōu)化與效率
Apple Intelligence的核心設(shè)計(jì)理念是在設(shè)備端完成大多數(shù)操作，這不僅保護(hù)了用戶隱私，還提升了響應(yīng)速度。
蘋果通過(guò)模型量化、剪枝等技術(shù)對(duì)端側(cè)模型進(jìn)行深度優(yōu)化，使其能夠在資源有限的設(shè)備上高效運(yùn)行。
4、隱私保護(hù)
Apple Intelligence在設(shè)計(jì)上極為注重用戶隱私，其主要措施包括：
?設(shè)備端處理: 大部分?jǐn)?shù)據(jù)處理在用戶設(shè)備上完成，避免了將個(gè)人數(shù)據(jù)上傳到云端的風(fēng)險(xiǎn).
?Private Cloud Compute: PCC確保即使需要云端計(jì)算，數(shù)據(jù)也不會(huì)被存儲(chǔ)或訪問(wèn)，包括蘋果自身。該系統(tǒng)經(jīng)過(guò)專門設(shè)計(jì)，以確保只有經(jīng)過(guò)驗(yàn)證的請(qǐng)求才能處理，并且任何獨(dú)立專家都可以對(duì)其隱私保護(hù)措施進(jìn)行審查。
?透明性: 用戶在使用AI功能時(shí)，會(huì)被告知何時(shí)使用ChatGPT等外部服務(wù)，并在共享信息之前獲得提示，從而增強(qiáng)了用戶對(duì)數(shù)據(jù)使用的控制感。
Apple Intelligence的技術(shù)細(xì)節(jié)
? Apple Intelligence技術(shù)介紹文檔：https://arxiv.org/pdf/2407.21075
AFM 模型（Apple Foundation Model）
Apple Intelligence的核心模型是Apple Foundation Model (AFM)，這是一個(gè)擁有約30億參數(shù)的先進(jìn)語(yǔ)言模型，是Apple Intelligence的核心。AFM旨在提升設(shè)備對(duì)語(yǔ)言的理解與生成能力，支持Apple Intelligence的各項(xiàng)功能，如郵件摘要、消息摘要和通知摘要。
硬件優(yōu)化架構(gòu)與設(shè)計(jì)
Transformer架構(gòu)：AFM模型基于Transformer架構(gòu)采用一些特定的設(shè)計(jì)提高效率和性能，主要組成部分如下：
—多頭注意力機(jī)制，允許模型從多個(gè)角度解析數(shù)據(jù)，增強(qiáng)信息整合能力
—共享輸入/輸出嵌入矩陣，減少了模型參數(shù)的數(shù)量，提高了內(nèi)存效率
—RMSNorm預(yù)歸一化，提高了訓(xùn)練的穩(wěn)定性，并幫助模型學(xué)習(xí)更復(fù)雜的模式
—查詢/鍵歸一化，進(jìn)一步提高了訓(xùn)練的穩(wěn)定性
—分組查詢注意力（GQA）， AFM使用具有8個(gè)鍵值頭的分組查詢注意力（GQA），減少了內(nèi)存占用，并提高了計(jì)算效率
—SwiGLU激活函數(shù)，提高了模型的效率
—RoPE位置嵌入，支持長(zhǎng)文本的編碼，AFM使用RoPE位置嵌入，基頻設(shè)置為500k，并提高了模型對(duì)上下文的表示能力
—AXLearn框架：AFM 模型使用AXLearn 框架在Cloud TPU 群上訓(xùn)練，該框架支持大規(guī)模模型和序列長(zhǎng)度的訓(xùn)練，并提供了高效的訓(xùn)練和推理性能。
訓(xùn)練過(guò)程
1、預(yù)訓(xùn)練階段
?分為三個(gè)階段
—核心階段， 使用最大規(guī)模的數(shù)據(jù)集進(jìn)行訓(xùn)練，主要目標(biāo)是學(xué)習(xí)基礎(chǔ)的語(yǔ)言知識(shí)和模式。
—持續(xù)階段，在核心階段的基礎(chǔ)上，增加代碼和數(shù)學(xué)數(shù)據(jù)，并降低網(wǎng)頁(yè)數(shù)據(jù)的權(quán)重，以進(jìn)一步擴(kuò)展模型的知識(shí)范圍。
—上下文擴(kuò)展階段，在持續(xù)階段的基礎(chǔ)上，使用更長(zhǎng)的序列長(zhǎng)度和合成長(zhǎng)文本數(shù)據(jù)，以提高模型對(duì)長(zhǎng)文本的處理能力。
?數(shù)據(jù)收集：AFM的預(yù)訓(xùn)練階段，數(shù)據(jù)的收集與處理是構(gòu)建強(qiáng)大模型的基石。通過(guò)Applebot爬取的網(wǎng)頁(yè)數(shù)據(jù)，結(jié)合公共許可的數(shù)據(jù)集，構(gòu)建了高質(zhì)量、大規(guī)模、多樣化的數(shù)據(jù)集。此外，為了保護(hù)用戶隱私，預(yù)訓(xùn)練數(shù)據(jù)集中沒(méi)有包含任何私人Apple用戶數(shù)據(jù)，并且努力從公開(kāi)數(shù)據(jù)中排除褻瀆內(nèi)容、不安全材料和個(gè)人身份識(shí)別信息（PII）。預(yù)訓(xùn)練數(shù)據(jù)集的選擇具體包括：
—網(wǎng)頁(yè)內(nèi)容：使用Applebot爬取的公開(kāi)可用信息，并進(jìn)行了過(guò)濾，蘋果尊重網(wǎng)站發(fā)布者選擇退出Applebot的抓取。
—授權(quán)數(shù)據(jù)集：從出版商處獲得的高質(zhì)量數(shù)據(jù)集，提供多樣化的長(zhǎng)文本數(shù)據(jù)。
—代碼：從GitHub上的開(kāi)源倉(cāng)庫(kù)中獲取的代碼數(shù)據(jù)，涵蓋多種編程語(yǔ)言，這些代碼數(shù)據(jù)經(jīng)過(guò)了重復(fù)數(shù)據(jù)刪除、過(guò)濾PII和質(zhì)量過(guò)濾。
—數(shù)學(xué)：包含數(shù)學(xué)問(wèn)題、論壇、博客、教程和研討會(huì)等數(shù)學(xué)內(nèi)容的網(wǎng)頁(yè)數(shù)據(jù)。
—公共數(shù)據(jù)集：經(jīng)過(guò)評(píng)估和篩選的高質(zhì)量公共數(shù)據(jù)集。
2、后訓(xùn)練階段
后訓(xùn)練顯著提高了 AFM 模型的質(zhì)量和性能，使其在特定任務(wù)上表現(xiàn)出色。后訓(xùn)練過(guò)程充分考慮了數(shù)據(jù)質(zhì)量、安全性和有害內(nèi)容的過(guò)濾，確保模型符合蘋果的核心價(jià)值觀和負(fù)責(zé)任 AI 原則。后訓(xùn)練方法可擴(kuò)展到其他任務(wù)，使 AFM 模型能夠支持更多 Apple Intelligence 功能。
3、推理優(yōu)化
為了適應(yīng)邊緣設(shè)備的有限內(nèi)存預(yù)算并降低推理成本，AFM使用了模型量化技術(shù)，使用 4 位量化技術(shù)對(duì) AFM 模型進(jìn)行量化，顯著降低模型大小和推理成本。
?模型量化 ：使用 4 位量化技術(shù)對(duì) AFM 模型進(jìn)行量化，顯著降低模型大小和推理成本。
?精度恢復(fù)適配器：使用 LoRA 適配器來(lái)恢復(fù)量化模型的精度，使其接近未量化模型的表現(xiàn)。
?混合精度量化：使用 4 位和 2 位量化精度對(duì)模型的各個(gè)層進(jìn)行量化，進(jìn)一步降低內(nèi)存占用，同時(shí)保持模型質(zhì)量。
?交互式模型分析：使用 Talaria 工具分析模型的延遲和功耗，指導(dǎo)比特率選擇，優(yōu)化模型性能。
?運(yùn)行時(shí)可替換的適配器： 使用LoRA 適配器來(lái)微調(diào)模型，使其能夠針對(duì)特定任務(wù)進(jìn)行調(diào)整，同時(shí)保持模型的通用知識(shí)。
Private Cloud Compute (PCC)
Private Cloud Compute (PCC)是蘋果公司為Apple Intelligence設(shè)計(jì)的突破性云智能系統(tǒng)，專為私有AI處理而設(shè)計(jì)。PCC將業(yè)界領(lǐng)先的iPhone安全性擴(kuò)展到云端服務(wù)，確保發(fā)送到PCC的個(gè)人用戶數(shù)據(jù)不會(huì)被除用戶之外的任何人訪問(wèn)，甚至蘋果也無(wú)法訪問(wèn)。
安全特性
?硬件安全： PCC采用定制的Apple芯片和為隱私而設(shè)計(jì)的強(qiáng)化操作系統(tǒng)構(gòu)建。
?加密密鑰保護(hù)：PCC通過(guò)使用安全 enclave來(lái)保護(hù)服務(wù)器上的加密密鑰。
?安全啟動(dòng)：使用安全啟動(dòng)來(lái)確保服務(wù)器上運(yùn)行的操作系統(tǒng)已簽名和驗(yàn)證。
Trusted Execution Monitor:?Trusted Execution Monitor 確保只有已簽名和驗(yàn)證的代碼運(yùn)行。
Attestation： Attestation 允許用戶的設(shè)備安全地驗(yàn)證Private Cloud Compute集群的身份和配置，然后再發(fā)送請(qǐng)求。
數(shù)據(jù)處理
?數(shù)據(jù)最小化：當(dāng)Apple Intelligence需要利用Private Cloud Compute時(shí)，它會(huì)構(gòu)建一個(gè)請(qǐng)求，其中包含prompt以及所需的模型和推斷參數(shù)，這些將作為云模型的輸入。
?端到端加密：用戶設(shè)備上的PCC客戶端直接使用PCC節(jié)點(diǎn)的公鑰對(duì)該請(qǐng)求進(jìn)行加密，這些節(jié)點(diǎn)已首先確認(rèn)是有效且經(jīng)過(guò)加密認(rèn)證的，這提供了從用戶設(shè)備到經(jīng)過(guò)驗(yàn)證的PCC節(jié)點(diǎn)的端到端加密，確保請(qǐng)求無(wú)法在傳輸過(guò)程中被高度保護(hù)的PCC節(jié)點(diǎn)之外的任何東西訪問(wèn)。
?數(shù)據(jù)中心服務(wù)：諸如負(fù)載平衡器和隱私網(wǎng)關(guān)之類的支持?jǐn)?shù)據(jù)中心服務(wù)在此信任邊界之外運(yùn)行，并且沒(méi)有解密用戶請(qǐng)求所需的密鑰，從而有助于蘋果公司實(shí)現(xiàn)可執(zhí)行的保證。
安全啟動(dòng)機(jī)制
PCC的安全啟動(dòng)機(jī)制用于保證只有經(jīng)過(guò)授權(quán)和驗(yàn)證的代碼才能在節(jié)點(diǎn)上執(zhí)行，具體步驟如下：
1. 安全啟動(dòng)：系統(tǒng)使用安全啟動(dòng)，以保證只有授權(quán)且經(jīng)過(guò)密碼學(xué)方法測(cè)量的代碼才能在節(jié)點(diǎn)上執(zhí)行。
2. 代碼簽名：所有可以在節(jié)點(diǎn)上運(yùn)行的代碼必須是信任緩存的一部分，該信任緩存由蘋果簽名，經(jīng)過(guò)特定PCC節(jié)點(diǎn)批準(zhǔn)，并由安全 Enclave 加載，這樣它就不能在運(yùn)行時(shí)更改或修改。
3. JIT 映射：禁用JIT映射，防止在運(yùn)行時(shí)編譯或注入新代碼。
4. 完整性保護(hù)：所有代碼和模型資產(chǎn)使用與簽名系統(tǒng)卷相同的完整性保護(hù)。
5. 密鑰保護(hù)：安全 Enclave 提供了一個(gè)可執(zhí)行的保證，即用于解密請(qǐng)求的密鑰無(wú)法被復(fù)制或提取。
與其他服務(wù)的集成
Apple Intelligence可以集成ChatGPT等第三方服務(wù)，但在使用前會(huì)征求用戶的許可。
ChatGPT集成：蘋果將ChatGPT整合至iOS 18、iPadOS 18和macOS Sequoia的操作體驗(yàn)中，讓用戶能夠直接使用 ChatGPT 的特殊功能，包括它對(duì)圖像和文檔的理解能力，為用戶省去在不同工具間來(lái)回切換的麻煩。
Siri調(diào)用：Siri 可根據(jù)需要直接調(diào)用 ChatGPT 的特殊功能。它會(huì)在先行征得用戶同意后，才將用戶的問(wèn)題發(fā)送至 ChatGPT，連同任何文檔或照片，最后直接答復(fù)用戶。
Writing Tools工具集成：ChatGPT 也將被集成至 Apple 提供的可以全系統(tǒng)調(diào)用的 Writing Tools 工具內(nèi)，協(xié)助用戶根據(jù)當(dāng)前主題生成內(nèi)容。使用 Compose 功能時(shí)，用戶還可運(yùn)用 ChatGPT 的圖像工具生成多種多樣的圖像，做到圖文并茂。
?隱私保護(hù)措施：相應(yīng)的隱私保護(hù)措施也已為使用 ChatGPT 的用戶部署到位，用戶的 IP 地址會(huì)被隱藏，發(fā)出的請(qǐng)求也不會(huì)保存在 OpenAI 的記錄里。對(duì)于選擇綁定已有賬號(hào)的用戶，則會(huì)適用 ChatGPT 的數(shù)據(jù)使用政策。
已經(jīng)有AFM模型，為何還選擇與其他大語(yǔ)言模型集成
Apple Intelligence 已經(jīng)有AFM模型，但仍然選擇與其他大語(yǔ)言模型（如ChatGPT）集成的原因，可以歸納為以下幾點(diǎn)：
?增強(qiáng)特定功能：ChatGPT在多模態(tài)推理方面表現(xiàn)出色，尤其是在視頻和音頻處理方面，集成ChatGPT可以增強(qiáng)Apple設(shè)備在處理這些類型數(shù)據(jù)時(shí)的能力，例如，總結(jié)錄音內(nèi)容。
?提升Siri智能：通過(guò)集成ChatGPT，Siri能夠建議用戶針對(duì)某些請(qǐng)求訪問(wèn)ChatGPT，并可以直接提供響應(yīng)，從而提供前所未有的超強(qiáng)智能功能。ChatGPT的加入可以提升Siri的理解能力和知識(shí)儲(chǔ)備，使其能夠回答更多問(wèn)題，執(zhí)行更復(fù)雜的任務(wù)。蘋果內(nèi)部研究顯示，ChatGPT在準(zhǔn)確率上超越Siri達(dá)25%，并且能回答的問(wèn)題數(shù)量多出30%。
?提供更多選擇：蘋果給用戶提供選擇是否使用OpenAI服務(wù)的權(quán)利，同時(shí)也與谷歌討論大模型相關(guān)的合作，OpenAI只是Apple Intelligence生態(tài)里面的合作伙伴之一。
?追趕競(jìng)爭(zhēng)對(duì)手：在競(jìng)爭(zhēng)對(duì)手通過(guò)采用AI技術(shù)迅速崛起后，蘋果公司正面臨在其產(chǎn)品中引入新的AI功能的壓力。CCS Insight首席分析師本·伍德認(rèn)為，蘋果集成ChatGPT，是承認(rèn)了其局限性，因?yàn)镃hatGPT將在Siri不再能夠幫助用戶時(shí)提供服務(wù)。
?無(wú)需在工具之間跳轉(zhuǎn) ：用戶無(wú)需在工具之間跳轉(zhuǎn)（無(wú)需注冊(cè)）即可訪問(wèn)ChatGPT的專業(yè)知識(shí)以及圖像和文檔理解功能。
在中國(guó)選擇與阿里、百度合作的原因
蘋果選擇與阿里巴巴（通義千問(wèn)）和百度合作，主要原因如下：
?監(jiān)管要求： 為了在中國(guó)推出AI服務(wù)，蘋果必須找到一家中國(guó)企業(yè)作為合作伙伴，以符合中國(guó)政府的監(jiān)管要求
審查和過(guò)濾：?阿里巴巴的軟件將作為上層架構(gòu)，能夠在不被用戶察覺(jué)的情況下審查敏感內(nèi)容，以符合監(jiān)管要求。
風(fēng)險(xiǎn)分散：蘋果可能同時(shí)引入阿里巴巴和百度的AI技術(shù)，以分散風(fēng)險(xiǎn)。
掃碼關(guān)注我們
