色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

車載大模型分析揭示:存儲帶寬對性能影響遠超算力

佐思汽車研究 ? 來源:未知 ? 2024-11-09 10:36 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

車載大模型的定義尚無,傳統(tǒng)大模型即LLM的參數(shù)一般在70億至2000億之間,而早期的CNN模型參數(shù)通常不到1000萬,CNN模型目前大多做骨干網(wǎng)使用,參數(shù)飛速增加。特斯拉使用META的RegNet,參數(shù)為8400萬,消耗運算資源很少,得分82.9也算不低;小米UniOcc使用META的ConvNeXt-B,參數(shù)8900萬,消耗運算資源最少,得分83.8;華為RadOcc使用微軟的Swin-B,參數(shù)8800萬。相對于早期的CNN模型,這些都可以叫大模型,但要與真正意義上的ChatGPT之類的LLM大模型比,這些是小模型都稱不上,只能叫微模型。

不過,端到端的出現(xiàn)改變了這一現(xiàn)狀,端到端實際上是內(nèi)嵌了一個小型LLM,隨著喂養(yǎng)數(shù)據(jù)的增加,這個大模型的參數(shù)會越來越大,最初階段的模型大小大概是100億參數(shù),不斷迭代,最終會達到1000億以上。非安全類的大模型應(yīng)用基本不用考慮計算問題,所以只要是個手機都敢說能跑數(shù)百億的大模型,實際很多算力不如手機的電腦也能跑,因為延遲多幾秒幾十秒也沒有問題,但自動駕駛必須將延遲降低到幾十毫秒內(nèi)。但你要以為這對算力要求更高了,那就大錯特錯了,存儲帶寬遠比算力重要千倍。

當前的主流 LLM 基本都是Decoder Only的Transformer模型,其推理過程可分為兩個階段:

d3575588-903e-11ef-a511-92fbcf53809c.png

圖片來源:論文 A Survey on Efficient Inference for Large Language Models

Prefill:根據(jù)輸入Tokens(Recite, the, first, law, of, robotics) 生成第一個輸出 Token(A),通過一次Forward就可以完成,在Forward中,輸入Tokens間可以并行執(zhí)行(類似 Bert這些Encoder模型),因此執(zhí)行效率很高。

Decoding:從生成第一個Token(A)之后開始,采用自回歸方式一次生成一個Token,直到生成一個特殊的Stop Token(或者滿足用戶的某個條件,比如超過特定長度)才會結(jié)束,假設(shè)輸出總共有N個Token,則Decoding階段需要執(zhí)行N-1次Forward,這N-1次Forward 只能串行執(zhí)行,效率很低。另外,在生成過程中,需要關(guān)注的Token越來越多(每個Token 的生成都需要Attention之前的Token),計算量也會適當增大。

LLM推理計算過程時間分布

d383974c-903e-11ef-a511-92fbcf53809c.png

圖片來源:論文Memory Is All You Need: An Overview of Compute-in-Memory Architectures for Accelerating Large Language Model Inference

在車載自動駕駛應(yīng)用場合,序列長度基本可等同于攝像頭的像素數(shù)量和激光雷達的點云密度。

d3adee5c-903e-11ef-a511-92fbcf53809c.png

圖片來源:論文Memory Is All You Need: An Overview of Compute-in-Memory Architectures for Accelerating Large Language Model Inference

在 LLM 推理中最關(guān)鍵的就是上圖中的Multi-Head Attention(MHA),其主要的計算集中在左圖中灰色的 Linear(矩陣乘)和Scaled Dot-Product Attention中的MatMul 矩陣乘法。

圖中的Mask是一個下三角矩陣,也是因為這個下三角矩陣實現(xiàn)了LLM Decoder的主要特性,每個Token都只能看到當前位置及之前的Token。其中的QKV可以理解為一個相關(guān)性矩陣,4個Token對應(yīng)4 個Step,其中:

Step 2依賴Step 1的結(jié)果,相關(guān)性矩陣的第1行不用重復計算。

Step 3依賴Step 1和Step 2的結(jié)果,相關(guān)性矩陣的第1行和第2行不用重復計算。

Step 4依賴Step 1、Step 2和Step 3的結(jié)果,相關(guān)性矩陣的第1行、第2行和第3行不用重復計算。

在Decoding階段Token是逐個生成的,上述的計算過程中每次都會依賴之前的結(jié)果,換句話說這是串行計算,而非GPU擅長的并行計算,GPU大部分時候都在等待數(shù)據(jù)搬運。加速的辦法是計算當前Token時直接從KV Cache中讀取而不是重新計算,對于通用LLM,應(yīng)用場景是要考慮多個并發(fā)客戶使用,即Batch Size遠大于1,KV Cache的緩存量會隨著Batch Size暴增,但在車里用戶只有一個,就是自動駕駛端到端大模型,即Batch Size為1。

因為Decoding階段Token逐個處理,使用KV Cache之后,上面介紹的Multi-Head Attention 里的矩陣乘矩陣操作全部降級為矩陣乘向量即GEMV。此外,Transformer模型中的另一個關(guān)鍵組件FFN 中主要也包含兩個矩陣乘法操作,但 Token之間不會交叉融合,也就是任何一個Token都可以獨立計算,因此在Decoding階段不用Cache之前的結(jié)果,但同樣會出現(xiàn)矩陣乘矩陣操作降級為矩陣乘向量。Prefill階段則是GEMM,矩陣與矩陣的乘法。

矩陣乘向量操作是明顯的訪存bound,而以上操作是LLM推理中最主要的部分,這也就導致LLM推理是訪存bound類型。

三星對GPT大模型workload分析

d3dfe038-903e-11ef-a511-92fbcf53809c.png

圖片來源:SAMSUNG

上圖是三星對GPT大模型workload分析。在運算操作數(shù)量上,GEMV所占的比例高達86.53%;在大模型運算延遲分析上,82.27%的延遲都來自GEMV,GEMM所占只有2.12%,非線性運算也就是神經(jīng)元激活部分占的比例也遠高于GEMM。

三星對GPU利用率的分析

d41bc45e-903e-11ef-a511-92fbcf53809c.png

圖片來源:SAMSUNG

上圖是三星對GPU利用率的分析,可以看出在GEMV算子時,GPU的利用率很低,一般不超過20%,換句話說80%的時間GPU都是在等待存儲數(shù)據(jù)的搬運。還有如矩陣反轉(zhuǎn),嚴格地說沒有任何運算,只是存儲行列對調(diào),完全是存儲器和CPU在忙活。解決辦法很簡單且只有一個,就是用HBM高寬帶內(nèi)存。

與傳統(tǒng)LLM最大不同就是車載的Batch Size是1,導致GPU運算效率暴跌,傳統(tǒng)LLM的Batch Size通常遠大于1,這讓GPU效率增加。

d44a5206-903e-11ef-a511-92fbcf53809c.png

圖片來源:論文SARATHI: Effcient LLM Inference by Piggybacking Decodes with Chunked Preflls

圖上不難看出,Batch Size越大,推理速度反而越快,但KV Cache容量會暴增;車載的Batch Size是1,推理速度反而很慢,好處是根本不用考慮KV Cache的容量。

最終我們可以得出結(jié)論,存儲帶寬決定了推理計算速度的上限。假設(shè)一個大模型參數(shù)為70億,按照車載的INT8精度,它所占的存儲是7GB,如果是英偉達的RTX4090,它的顯存帶寬是1008GB/s,也就是每7毫秒生成一個token,這個就是RTX4090的理論速度上限。特斯拉第一代FSD芯片的存儲帶寬是63.5GB/s,即每110毫秒生成一個token,幀率不到10Hz,自動駕駛領(lǐng)域一般圖像幀率是30Hz;英偉達的Orin存儲帶寬是204.5GB/s,即每34毫秒生成一個token,勉強可以達到30Hz,注意這只是計算的數(shù)據(jù)搬運所需要的時間,數(shù)據(jù)計算的時間都完全忽略了,實際速度要遠低于這個數(shù)據(jù)。并且一個token也不夠用,至少需要兩個token,端到端的最終輸出結(jié)果用語言描述就是一段軌跡,比如直行,直行需要有個限制條件,至少有個速度的限制條件,多的可能需要5個以上token,簡單計算即可得出存儲帶寬需要1TB/s以上。

實際情況遠比這個復雜的多。車載領(lǐng)域不是傳統(tǒng)LLM使用CPU和GPU分離形式,車載領(lǐng)域的計算SoC都是將CPU和AI運算部分合二為一,AI運算部分通常是GPU或加速器是和CPU共享內(nèi)存的。而在非車載領(lǐng)域,GPU或AI運算部分有獨立的存儲,即顯存。車載領(lǐng)域共享內(nèi)存一般是LPDDR,它主要是為CPU設(shè)計的,注重速度即頻率而非帶寬。不像顯存,一般是GDDR或HBM,注重帶寬,不看重頻率高低。上述所有理論都是基于顯存的,在車載領(lǐng)域共享LPDDR,其性能遠遠低于單獨配置的顯存,無論是速度還是容量,共享存儲都必須遠比單獨的顯存要高才能做到大模型推理計算。

理想用英偉達Orin做了測試,純端到端模式延遲高達1.5秒。

d4829288-903e-11ef-a511-92fbcf53809c.png

圖片來源:論文DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models

所以車載領(lǐng)域存儲比算力重要很多,最好的解決辦法是HBM,但太貴了,32GB HBM2最低成本也得2000美元,汽車領(lǐng)域?qū)r格還是比較敏感的,退而求其次,就是GDDR了。GDDR6的成本遠低于HBM,32GB GDDR6大概只要180美元或更低。

幾代GDDR的性能對比

d4b3bd5e-903e-11ef-a511-92fbcf53809c.png

整理:佐思汽研

基本上GDDR6的理論上限就是672GB/s,特斯拉第二代FSD芯片就支持第一代GDDR6,HW4.0上的GDDR6容量為32GB,型號為MT61M512M32KPA-14,頻率1750MHz(LPDDR5最低也是3200MHz之上),是第一代GDDR6,速度較低。即使用了GDDR6,要流暢運行百億級別的大模型,還是無法實現(xiàn),不過已經(jīng)是目前最好的了。

GDDR7正式標準在2024年3月公布,不過三星在2023年7月就發(fā)布了全球首款GDDR7,目前SK Hynix和美光也都有GDRR7產(chǎn)品推出。有些人會說,換上GDDR7顯存不就行了,當然沒那么容易,GDDR需要特殊的物理層和控制器,芯片必須內(nèi)置GDDR的物理層和控制器才能用上GDDR,Rambus和新思科技都有相關(guān)IP出售。

d5223054-903e-11ef-a511-92fbcf53809c.png

圖片來源:網(wǎng)絡(luò)

在芯片領(lǐng)域,GDDR7增加的成本和LPDDR5X一樣的。

特斯拉的HW4.0過了一年半毫無動作,筆者認為特斯拉的第二代FSD芯片顯然是落伍了,特斯拉也不打算大規(guī)模用了,特斯拉的第三代FSD芯片應(yīng)該正在開發(fā)中,可能2025年底就完成開發(fā),至少支持GDDR6X。

大模型時代,Attention Is All You Need,同樣大模型時代 Memory Is All You Need。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 存儲
    +關(guān)注

    關(guān)注

    13

    文章

    4553

    瀏覽量

    87711
  • 帶寬
    +關(guān)注

    關(guān)注

    3

    文章

    996

    瀏覽量

    42346
  • LLM
    LLM
    +關(guān)注

    關(guān)注

    1

    文章

    328

    瀏覽量

    920

原文標題:車載大模型計算分析:存儲帶寬遠比算力重要

文章出處:【微信號:zuosiqiche,微信公眾號:佐思汽車研究】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    科技上線赤兔推理引擎服務(wù),創(chuàng)新解鎖FP8大模型

    模型輕量化部署方案。用戶通過遠程平臺預置的模型鏡像與AI工具,僅需50%的GPU即可解
    的頭像 發(fā)表于 07-30 21:44 ?197次閱讀

    揭秘瑞芯微協(xié)處理器,RK3576/RK3588強大搭檔

    側(cè)部署大模型提供了強有力的支持。下面,就由觸覺智能從多個角度,為您解析瑞芯微協(xié)處理器性能特性。Gongga1協(xié)處理器特性先進封裝技術(shù),打破端側(cè)部署大
    的頭像 發(fā)表于 07-17 10:00 ?260次閱讀
    揭秘瑞芯微<b class='flag-5'>算</b><b class='flag-5'>力</b>協(xié)處理器,RK3576/RK3588強大<b class='flag-5'>算</b><b class='flag-5'>力</b>搭檔

    【「芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗】+NVlink技術(shù)從應(yīng)用到原理

    前言 【「芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」書中的芯片知識是比較接近當前的頂尖芯片水平的,同時包含了芯片架構(gòu)的基礎(chǔ)知識,但該部分知識比較晦澀難懂,或許是由于我一
    發(fā)表于 06-18 19:31

    芯片的生態(tài)突圍與革命

    電子發(fā)燒友網(wǎng)報道(文 / 李彎彎)大芯片,即具備強大計算能力的集成電路芯片,主要應(yīng)用于高性能計算(HPC)、人工智能(AI)、數(shù)據(jù)中心、自動駕駛等需要海量數(shù)據(jù)并行計算的場景。隨著 AI 與大數(shù)
    的頭像 發(fā)表于 04-13 00:02 ?1864次閱讀

    DeepSeek推動AI需求:800G光模塊的關(guān)鍵作用

    隨著人工智能技術(shù)的飛速發(fā)展,AI需求正以前所未有的速度增長。DeepSeek等大模型的訓練與推理任務(wù)對的需求持續(xù)攀升,直接推動了服務(wù)
    發(fā)表于 03-25 12:00

    接棒,慧榮科技以主控技術(shù)突破AI存儲極限

    電子發(fā)燒友網(wǎng)報道(文/黃山明)在AI的高速增長下,尤其是以DeepSeek為代表的AI大模型推動存儲需求激增,增長倒逼存升級。而
    的頭像 發(fā)表于 03-19 01:29 ?1913次閱讀
    存<b class='flag-5'>力</b>接棒<b class='flag-5'>算</b><b class='flag-5'>力</b>,慧榮科技以主控技術(shù)突破AI<b class='flag-5'>存儲</b>極限

    DeepSeek對芯片的影響

    DeepSeek模型,尤其是其基于MOE(混合專家)架構(gòu)的DeepSeek-V3,對芯片的要求產(chǎn)生了深遠影響。為了更好地理解這一影響,我們可以從幾個方面進行分析。一.MOE架構(gòu)對
    的頭像 發(fā)表于 02-07 10:02 ?1207次閱讀
    DeepSeek對芯片<b class='flag-5'>算</b><b class='flag-5'>力</b>的影響

    中心的如何衡量?

    作為當下科技發(fā)展的重要基礎(chǔ)設(shè)施,其的衡量關(guān)乎其能否高效支撐人工智能、大數(shù)據(jù)分析等智能應(yīng)用的運行。以下是對智中心算衡量的詳細闡述:一、
    的頭像 發(fā)表于 01-16 14:03 ?2785次閱讀
    <b class='flag-5'>算</b>智<b class='flag-5'>算</b>中心的<b class='flag-5'>算</b><b class='flag-5'>力</b>如何衡量?

    科技云報到:要更要“利”,“精裝”觸發(fā)大模型產(chǎn)業(yè)新變局?

    科技云報到:要更要“利”,“精裝”觸發(fā)大模型產(chǎn)業(yè)新變局?
    的頭像 發(fā)表于 01-16 10:24 ?536次閱讀

    浪潮信息與智源研究院攜手共建大模型多元生態(tài)

    近日,浪潮信息與北京智源人工智能研究院正式簽署戰(zhàn)略合作協(xié)議,雙方將緊密合作,共同構(gòu)建大模型多元開源創(chuàng)新生態(tài)。 此次合作旨在提升大模型創(chuàng)新研發(fā)的
    的頭像 發(fā)表于 12-31 11:49 ?669次閱讀

    【「芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗】--全書概覽

    1章 從TOP500和MLPerf看芯片格局 1.1科學最前沿TOP500 1.2 AI
    發(fā)表于 10-15 22:08

    名單公布!【書籍評測活動NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析

    更高、更密集的應(yīng)用需求。 12年前,我與本書作者相識時,他向我提出一個想法:建立中關(guān)村在線高性能計算頻道。該頻道隸屬于核心硬件事業(yè)部,聚焦芯片相關(guān)的產(chǎn)品技術(shù)分析、評測,并為企業(yè)客戶
    發(fā)表于 09-02 10:09

    模型時代的需求

    現(xiàn)在AI已進入大模型時代,各企業(yè)都爭相部署大模型,但如何保證大模型,以及相關(guān)的穩(wěn)定性和性能
    發(fā)表于 08-20 09:04

    名單公布!【書籍評測活動NO.41】大模型時代的基礎(chǔ)架構(gòu):大模型中心建設(shè)指南

    工作日內(nèi)未聯(lián)系,視為放棄本次試用評測資格! 書籍介紹 大模型是近年來引人注目的熱點之一。大模型蓬勃發(fā)展的基礎(chǔ),是針對其需求設(shè)計的及基礎(chǔ)架構(gòu)。本書針對如何為大
    發(fā)表于 08-16 18:33
    主站蜘蛛池模板: 国产精品无码无在线观看 | 国产av成人一区二区三区 | 亚洲精品人成无码中文毛片 | 中文在线最新版天堂8 | 拍摄av现场失控高潮数次 | 人成乱码一区二区三区 | 青青草成人免费在线视频 | 精品乱码一区二区三四区 | 在线免费观看www | 免费看日韩 | 欧美福利视频在线 | 国产成人 综合 亚洲欧美 | www国产亚洲精品 | 亚洲男人精品 | 国产黄色av | 森林影视官网在线观看 | 野外做受又硬又粗又大视频 | 91欧美精品| 国产精品v一区二区三区 | 成人欧美一区二区三区黑人 | 日本肉体bbbbbb肉交内谢 | 亚洲色图150p | 欧美一区二区三区免费观看 | 国产成人精品一区二区三区在线 | 五月av | 手机av网 | 麻豆色淫网站av水蜜桃三级 | 男ji大巴进入女人的视频小说 | 日韩精品一区二区三区免费视频观看 | 日韩视频精品在线 | 久久精品国产丝袜人妻 | 精品九九九九九 | 波多野结衣在线播放 | 国产成人精品微拍视频网址 | 自拍偷在线精品自拍偷无码专区 | 国产98色在线 | 日韩 | 樱井莉亚av | 黄色1级毛片 | 国产酒店自拍 | 亚洲国产欧美在线人成 | 高清成人免费视频 | 日韩精品一区二区三区免费视频 | 亚洲欧美影视 | 久久人人玩人妻潮喷内射人人 | 蘑菇av | 91高跟黑色丝袜呻吟在线观看 | 国产精品色婷婷久久99精品 | 国产一区99 | 人人添人人澡人人澡人人人人 | 日本免费一区二区三区视频观看 | 国产亚洲精品久久久久久无几年桃 | 欧美成年人视频 | 久久久夜 | 亚洲xx在线 | 欧美一区二区三区视频 | 超碰在线观看99 | 国产一区精品在线观看 | 亚洲不卡高清视频 | 久久亚洲网 | 亚洲精品视频久久久 | 污污网站在线观看免费 | 日韩精品射精管理在线观看 | 成人在线影视 | 鲁丝一区二区三区免费 | 婷婷六月综合网 | 亚洲欧美国产精品18p | 久久亚洲国产成人精品性色 | 一本大道加勒比免费视频 | 色狠狠一区二区三区香蕉 | 一极黄色大片 | 一二三四区无产乱码1000集 | 日日干天天操 | 特级西西444www大胆免费看 | 国产精品国产三级国产专播精品人 | 免费观看成年人网站 | 麻豆黄色一级片 | www.嫩草蜜桃| 噜噜吧噜噜色 | 丰满少妇久久久久久久 | 色婷婷国产 | 中国女人高潮hd | 欧美一级欧美三级在线观看 | 色妇网| 少妇被粗大猛进进出出s小说 | 青青草偷拍视频 | 色综久久综合桃花网 | 欧美精品久久久久久久久 | 秋霞影院午夜老牛影院 | 18禁真人抽搐一进一出动态图 | 亚洲欧美高清 | 猫咪av成人永久网站在线观看 | 性久久久久久久久 | 亚洲制服在线观看 | 五月综合激情婷婷六月色窝 | 日本天堂在线 | 高h捆绑拘束调教小说 | 日韩色婷婷 | 中文字幕第23页 | 都市激情亚洲色图 | 国产一区二区三区在线观看 | 人妻丰满熟妇av无码区乱 | 婷婷国产一区二区三区 | 亚洲av毛片基地 | 污网站大全免费 | 国产一区二区三区不卡av | 日韩中文人妻无码不卡 | 乱色精品无码一区二区国产盗 | 日本午夜理伦影片大全 | 波多野吉衣av在线 | 久久综合99re88久久爱 | 国产99久久久国产精品免费高清 | 乱人伦人妻精品一区二区 | 成人免费ā片在线观看 | 黑人狂躁日本妞一区二区三区 | 午夜理论片yy44880影院 | 成人激情av | 精品国产免费观看 | 尤物久久av一区二区三区亚洲 | 成年在线网站免费观看无广告 | 国产精品内射视频免费 | 国产放荡av国产精品 | 国产成人av一区二区 | 国产a级淫片 | 男人的天堂日本 | 久久香蕉国产 | 久久一区视频 | 国产尤物精品视频 | www.亚洲色图.com | 69成人网| 国产精品人人爽人人做我的可爱 | 国产视频一区二区 | 一级黄色国产片 | 96亚洲精品久 | 欧美午夜精品理论片a级按摩 | 99国产精品久久久蜜芽 | 国产精品日韩欧美 | 免费一区区三区四区 | av高清在线 | 中文字幕日韩欧美一区二区三区 | 日韩有码第一页 | 亚洲一区网站 | 午夜爽爽久久久毛片 | 91蜜桃| 欧美色图日韩 | 热99re久久免费视精品频软件 | 亚洲成人免费看 | 亚洲成av人不卡无码影片 | 两个奶头被吃高潮视频 | 中文字幕亚洲高清 | 69xxxx日本 | 中文字幕日韩欧美一区二区三区 | 四虎1515hh海外永久免费 | 国产精品亚洲日韩欧美色窝窝色欲 | 国产成人精品三上悠亚 | 亚洲精品国偷自产在线99人热 | 精品国产一区二区三区久久 | 少妇做爰免费视频播放 | 夜天干天干啦天干天天爽 | 欧美三级成人理伦 | 青青草原综合久久大伊人 | 中文在线视频观看 | 农村妇女做爰偷拍视频 | 久久这里都是精品 | 欧美成人免费高清视频 | 国产成人av一区二区三区不卡 | 麻豆tv入口在线看 | 欧美与黑人午夜性猛交久久久 | 爱情岛成人18 | 亚洲精品无码久久 | 国产又黄又爽视频 | 亚洲aaaaaaa | 四色永久访问网站 | 成人免费看片98 | 亚洲欧美在线免费观看 | 亚洲高清在线看 | 日本做爰全过程免费的叫床 | 绯色av蜜臀一区二区中文字幕 | 亚洲色p | 国产色视频一区二区三区 | 97久久久久人妻精品区一 | 久久亚洲国产成人精品无码区 | 熟女人妻少妇精品视频 | 国产精品扒开腿做爽爽爽a片唱戏 | 一级片麻豆| 黄色大全免费看 | 成人久久久精品国产乱码一区二区 | 久久精品99久久久久久 | 欧美精品videosex极品 | 亚洲aⅴ片 | 少妇无码太爽了在线播放 | 日日噜噜夜夜狠狠va视频 | 手机永久免费av在线播放 | 日本内谢少妇xxxxx8老少交 | 俺去俺来也在线www色官 | 亚洲精品66 | hdhdhd69xxxxх | 少妇搡bbbb搡bbb搡打电话 | 日韩国产欧美综合 | 国产乱人伦偷精品视频免下载 | 久久久久久av无码免费网站下载 | 国产精品视频一区二区免费不卡 | 美女黄视频大全 | 性xxxx视频播放免费 | 日韩精品一区二区午夜成人版 | 国产美女精品aⅴ在线播放 国产美女精品人人做人人爽 | 久久久久久婷 | 国产三级在线观看免费 | 午夜欧美精品久久久久久久 | 中文字幕日韩人妻不卡一区 | 亚洲精品久久久久久中文传媒 | 久久综合给合久久狠狠狠97色69 | 欧美激情导航 | 日韩成人免费视频 | 欧美性视频播放 | 婷婷丁香六月激情综合啪 | 国产第三区 | 97在线视频免费 | 国产最新毛片 | 小嫩嫩流白浆 | а√最新版天堂资源 | 91大神小宝寻花在线观看 | 亚洲www啪成人一区二区麻豆 | 久久天天综合桃花久久 | 影音先锋美女 | 色视频在线网站 | 国产国产乱老熟女视频网站97 | 一级黄色网址 | 欧美大片va欧美在线播放 | 欧美v国产v亚洲v日韩九九 | 在线观看不卡av | 成人欧美视频在线观看 | 青青草激情视频 | 亚洲另类伦春色综合妖色成人网 | 国产哺乳奶水91porny | 欧美又大又硬又粗bbbbb | 亚洲黄网在线 | 中文字幕在线播 | 女同三级在线观看bd | 黄视频在线播放 | 国产成人在线视频 | 色呦呦国产精品 | 噜噜狠狠狠狠综合久久 | 久久在线精品视频 | av大全网站 | 麻豆av传媒蜜桃天美传媒 | 尤物网址在线观看 | 成人免费在线播放 | 污污视频免费网站 | 丰满熟妇被猛烈进入高清片 | 99精品福利视频 | 天天摸天天碰天天添 | av在线观看地址 | 久久久国产一区二区三区四区小说 | 四色激情 | 国产精品传媒在线观看 | 蜜桃视频无码区在线观看 | 亲子伦一区二区三区观看方式 | 精品一区二区三区在线观看视频 | 一二三区视频 | 综合久久国产 | 精品国产午夜肉伦伦影院 | 蜜臀91丨九色丨蝌蚪中文 | 国产精品第九页 | 亚洲精品日韩av | 中文字幕日韩人妻不卡一区 | 国产精品xxx大片免费观看 | 黄色片成人| 91禁在线动漫 | 波多野结衣一区在线 | 在线观看黄色大片 | 男人午夜免费视频 | 丰满爆乳无码一区二区三区 | 免费国精产品—品二品 | 色黄视频在线观看 | 国产乱码精品一区二三赶尸艳谈 | 人人澡人人爽 | 国产69久久精品成人看动漫 | 波多野结衣一区二区三区 | 色诱av| 天堂网在线最新版www中文网 | 亚洲一区二区三区中文字幕 | 黄色在线观看免费 | 欧美另类xxxx野战 | 香蕉视频97| 91视频综合 | 少妇和小鲜肉高潮毛片 | 中国猛少妇色xxxxx | 国产精品亚洲一区二区在线观看 | 在线精品亚洲欧美日韩国产 | 少妇粉嫩小泬喷水视频 | 性感美女一区二区三区 | 欧美裸体xxxx极品少妇 | 天干天干天啪啪夜爽爽av小说 | tube中国91xxxxx国产 | 国产精品国产三级国产普通话99 | 91看国产| 毛茸茸绝色孕妇孕交 | 人人看人人干 | 免费a在线 | 波多野结衣av在线观看 | 精品视频国产香蕉尹人视频 | 国产美a三级三级看三级 | 华人少妇被黑人粗大的猛烈进 | 台湾乡村少妇伦理 | 哪里可以看免费毛片 | 在线日韩一区二区 | 色老头在线一区二区三区 | 操操操操操操 | 大地资源中文第二页日本 | 日本免费无人高清 | 国产精品人妻熟女毛片av | 亚洲精品无码乱码成人 | 91精品久久久久久久久不口人 | 国产精品美乳在线观看 | 亚洲一区免费视频 | 亚洲免费二区 | 果冻传媒色av国产在线播放 | 欧美另类天堂 | 亚洲一区二区三区四区五区中文 | 国产精品美女www爽爽爽视频 | 成年人黄色大全 | 未满小14洗澡无码视频网站 | 欧美亚洲一二三区 | 九色丨蝌蚪丨成人 | 四虎1515hh海外永久免费 | 国产精品美女一区二区三区四区 | 99色| 日韩综合夜夜香内射 | 久久精品欧美日韩精品 | 精品国产乱码久久久久久久软件 | 精品国产成人亚洲午夜福利 | 国产又粗又黄视频 | 少妇无码一区二区二三区 | 国产伦子伦视频在线观看 | 那个网站可以看毛片 | 国产不卡一| av成人在线播放 | 免费一级做a爰片久久毛片潮喷 | 国产人与禽zoz0性伦免费 | 激情丁香六月 | 在线精品亚洲欧美日韩国产 | 热九九精品 | 殴美毛片| 日韩成人欧美 | 四虎永久免费 | 山东少妇露脸刺激对白在线 | 不卡av免费观看 | 勾搭情趣店女老板av | 天堂无码人妻精品一区二区三区 | 豆国产97在线 | 亚洲 | 成人性生交大片免费看冫视频 | 国产粉嫩呻吟一区二区三区 | 成人短视频在线免费观看 | 完全免费在线视频 | 非洲人与性动交ccoo | 国精产品一品二品国精在线观看 | 久久丫丫 | 欧美在线中文字幕 | 少妇被粗大的猛烈进出 | 内射干少妇亚洲69xxx | 国产日韩亚洲欧美 | 天天狠天天插 | 夜夜嗨av一区二区三区四季av | 深夜福利视频网站 | 亚洲无人区午夜福利码高清完整版 | 人妻aⅴ无码一区二区三区 日本一卡2卡3卡四卡精品网站 | 国产精品久久久久久亚洲影视 | 欧美成片vs欧美 | 星铁乱淫h侵犯h文 | 国产伦人伦偷精品视频 | 少妇精品蜜桃偷拍高潮系列 | 少妇爽 | 国产精品无需播放器在线观看 | 精品在线99 | 成人性生交大片免费8 | 中出乱码av亚洲精品久久天堂 | 92成人午夜福利一区二区 | 国产黄色自拍视频 | 国内精品视频一区 | 国产成人免费在线观看 | 成人深夜免费视频 | 肉色欧美久久久久久久免费看 | 欧美1级片 | 中文在线a∨在线 | 嫩草网站入口一区二区 | 在线黄色av网站 | 小明看平台日韩综合45页 | 欧美性jizz18性欧美肥胖脸 | 超碰97人人人人人蜜桃 | 亚洲精品第一国产综合野 | 爱色av网站 | 99国产精品欲 | www.亚洲精品 | 美女18网站| 自拍视频一区二区 | 各种高潮超清特写tv | 亚洲一区二区免费在线观看 | 91av九色| a级免费观看 | 国产精品第一页在线观看 | 国产天天骚 | www春色 | 亚洲精品国产偷自在线观看 | 最近中文字幕在线观看 | 亚洲精品无码一区二区三区久久久 | 综合久久中文字幕 | 无码少妇一区二区三区芒果 | 亚洲综合在线另类色区奇米 | 成人国产一区二区 | 丰满人妻熟妇乱偷人无码 | 特黄特色大片免费播放 | 亚洲综合精品在线 | 日本边添边摸免费视频网站 | 狠狠色狠狠色综合网 | 无码福利一区二区三区 | 另类性姿势bbwbbw | 亚洲欧美一区二区成人片 | 一级片免费网站 | 欧美黄页 | 免费美女毛片 | 日本a级免费 | 激情丁香婷婷 | 中文字幕丰满孑伦无码专区 | 午夜女色国产在线观看 | 九九热免费观看 | 国产香蕉精品视频 | av毛片久久 | 影音先锋成人资源网站 | 免费在线观看视频a | 国产精品另类激情久久久免费 | 99国产精品99久久久久久 | 亚洲人成网站在线播放942 | 芭乐视频色 | 91精品成人| 在线观看视频福利 | 三级4级全黄在线 | 国产一区二区三区免费视频 | 久久影院中文字幕 | 国内精品久久久久久久久电影网 | 97色伦图片97综合影院 | 可以看片的网站色 | 日韩精品av一区二区三区 | 婷婷深爱网 | 亚洲综合网在线观看 | 欧美视频在线播放 | 成人爱爱网站 | 99精产国品一二三产区区别麻豆 | 亚洲国产精品丝袜国产自在线 | 国产激情久久久久 | 欧洲男女做爰免费视频 | 男女激情视频免费观看刺激 | 日韩a∨精品日韩在线观看 免费特级黄毛片 | 性高爱久久久久久久久 | 成人在线观看免费高清 | 四虎国产精品一区二区 | www亚洲天堂com| 一级毛片一级黄片 | 日本三级理论片 | 欧美高h| 欧美日韩视频在线观看免费 | sm在线观看| 国产黄大片在线观看 | 大胸少妇午夜三级 | 一级生活毛片 | 欧美一区二区最爽乱淫视频免费看 | 欧美精品v国产精品v日韩精品 | 中国免费看的片 | 国产一区二区三区av在线无码观看 | 不卡无码人妻一区二区三区 | 亚洲欧美国产精品专区久久 | 国产日韩在线播放 | 综合色伊人 | 国产福利视频一区 | 欧美aⅴ在线观看 | 日本大尺度做爰呻吟 | 日韩a无v码在线播放 | 国产精品久久久久久久久久大牛 | 天天看国91产在线精品福利桃色 | 3d成人动漫在线观看 | 国产精品国产亚洲精品看不卡 | 日韩激情小说 | 91九色在线视频 | 国产寡妇xxxxxxxx性开放 | 日日爱669 | 黄色片久久久久 | 亚洲理论电影在线观看 | 毛片你懂的 | 天天澡天天狠天干天 | 日韩精品一二三 | 欧洲性开放大片 | 亚洲精品无线乱码一区 | 久久精品久久精品久久 | 久久久久久久久久久免费精品 | 一本加勒比hezyo无码专区 | 亚洲 卡通 欧美 制服 中文 | 久久久久97国产 | 婷婷久久五月天 | 国产少妇高潮视频 | 日本黄色片免费看 | 亚洲最大黄色 | 成人字幕网zmw | 色姑娘综合网 | 中文字幕亚洲乱码熟女在线 | 国产精品国产三级国产aⅴ浪潮 | 天天鲁一鲁摸一摸爽一爽 | 国产无在线观看 | 久草网视频 | 97成人精品视频在线播放 | 日韩在线专区 | 天天插天天干天天射 | 大片免费在线观看视频 | 欧美高清二区 | 国产精品久久久一区二区 | 国精品无码人妻一区二区三区 | 自拍欧美日韩 | 丰满少妇精品一区二区性也 | 99精品热6080yy久久日韩 | 九色网站在线观看 | 噜噜噜久久亚洲精品国产品91 | 免费国产在线观看 | 日韩欧美高清dvd碟片 | 日本成熟老妇乱 | 经典国产乱子伦精品视频 | 一级少妇淫片免费观看 | 黄色在线观看免费视频 | 与鸭共舞在线 | 国产女人叫床高潮大片免费 | 婷婷色在线播放 | 欧美一级少妇 | 免费在线观看不卡av | 欧美人妻一区二区三区 | 免费av网站在线看 | 日韩三级一区二区三区 | 国内精品久久久久久无码不卡 | 中文字幕一区在线观看视频 | 97视频网址 | 精品亚洲a∨无码一区二区三区 | 91九色国产 | 国产欧美一区二区精品性色超碰 | 自慰无码一区二区三区 | 国产精品免费一区二区 | 99久久精品无免国产免费 | 免费国产精品视频 | 第四色视频 | 99久久国语露脸精品国产 | 美女裸体十八禁免费网站 | 精品少妇久久久久久888优播 | 久久久久久99精品久久久 | 九九综合久久 | 香蕉一级片| 亚洲综合欧美色五月俺也去 | 放荡的美妇在线播放 | 国产麻豆精东果冻传媒 | 免费做a爰片久久毛片a片 | 中文字幕人乱码中文字 | 亚洲精品国产a久久久久久 亚洲精品国产crm | 真实国产乱子伦对白视频 | 欧美一二区 | 国产免费看黄 | 在线播放日韩 | 人与嘼交av免费 | 欧美少妇一级片 | 综合久久五月天 | 国产农村乱子伦精品视频 | 蜜桃精品一区二区 | 国内精品在线观看视频 | 国产精品熟女高潮视频 | 黄色软件视频大全 | 日韩中文字幕免费在线观看 | 国产精品久久国产精麻豆99网站 | 亚洲熟妇色自偷自拍另类 | 日本成人动漫在线观看 | 国产尤物av尤物在线看 | 激情啪啪网站 | 欧美日韩精品一区二区在线播放 | 真实乱视频国产免费观看 | 精品国产sm最大网站 | 国产精品粉嫩懂色av | 国产免费视频一区二区裸体 | 97久久精品午夜一区二区 | 免费国产黄网站在线观看可以下载 | 色综合视频一区二区三区 | 色老头免费视频 | 精品国产一区在线观看 | 婷婷中文字幕在线 | 中文字幕乱视频 | 欧美色亚洲 | 日日躁夜夜躁狠狠久久av | 男人和女人黄 色大片 | 免费毛片在线 | 午夜三级av | 国产无遮挡又黄又爽免费视频 | 日本亲近相奷中文字幕 | 国产品无码一区二区三区在线 | 亚洲免费国产视频 | 国产成人片无码视频在线观看 | 夜夜嗨一区二区 | 久久亚洲日韩精品一区二区三区 | 中国女人内谢69xxxxxa片 | 国产成人精品一区二区三区无码 | 成人久久18免费网站麻豆 | 老牛嫩草一区二区三区眼镜 | aaa级吃奶摸下免费视频 | 午夜粉色视频 | 国精产品一二三区精华液 | 老汉色av影院 | 成人一区视频 | 鲜嫩高中生无套进入 | 精品在线视频一区二区 | 久久久久夜夜夜综合国产 | 久久99国产精品久久99果冻传媒 | 久久黄色片网站 | h色视频在线观看 | 日本高清二区 | 牛牛影视一区二区三区免费看 |

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品