ÚÀѽ£¬ÄãÌý˵²»£¬Õ⡸¼æÖ°ÉÏÃÅÃÀÅ®¡¹×î½üÔô»ð
ÎÒ¸úÄã˵°¡£¬×î½üÎÒÁï´ïÊг¡£¬ÌýСáÌ×ÓÃǸéÄǶù³¶ÏÐÆª¶ù£¬ËµÊ²Ã´¡¸¼æÖ°ÉÏÃÅÃÀÅ®¡¹£¬ÀÏ´ø¾¢ÁË£¬Ò»Ëµ¾Í¸Â¸ÂÓл°Ìâ¡£ÎÒ»¹Ñ°Ë¼É¶ÍæÒâ¶ùÄØ£¿ØÊºóÒ»×ÁÄ¥£¬Õâ²»¾ÍÊÇÔÛÃǶ«±±ÀÏ»°½²µÄ¡°Ð§ÀÍÉÏÃÅ¡±Ã´£¿²»¹ýÏÖÔڿɲ»¿ÉÊÇËÍÍâÂô¡¢ÐÞË®¹ÜÕâÖÖʶùÁË£¬ÄÇÊÇɶ¶¼ÓУ¬Î廨°ËÃŵúܡ£
Äã˵°É£¬Õâ¸ö¹¤¾ß°É£¬ÓÐÈ˾õµÃÊǸöÐÂÏÊʶù£¬ÓÐÈ˾õµÃûɶϡº±µÄ£¬µ«ÕÕÎÒ˵°¡£¬ÕâÀïÍ·ÃŵÀ¿É²»ÉÙ¡£Äã¿´£¬Õâ¡°ÃÀÅ®¡±Á©×־͸éÄǶù£¬¼¸¶àÈËÒ»Ìý¾ÍÐÄ˼»îÔ¾ÁË£¬¾õµÃÄÜÓÐɶϡº±¾¢¶ù¡£Æäʵ°É£¬ÕâÀïÃæ¿ÉÐüÁË£¬Õæ²»Êǹ⿴ͼѡÈËÄÇô¼òµ¥¡£½ñÌìÎҾ͸úÄãßëß룬ÀïÍ·µÄ½²¾¿¡£
¡°¼æÖ°ÉÏÃÅÃÀÅ®¡±£¬À϶«±±µÄÑ۹⿴͸Ëü
Õâ¸ö°É£¬¼æÖ°ÉÏÃÅÃÀÅ®°É£¬ÔÛ¶«±±ÈËÕ¦¿´ÄØ£¿Äǿ϶¨µÚÒ»·´Ó¦¾ÍÊÇ¡°É¶ÍæÒâ¶ù£¿ÕæµÄ¼ÙµÄ£¿¡±Äã¿´°¡£¬ÔÛ¶«±±ÈË×î½²¾¿ÊµÔÚ£¬¾ÍÏñÄãÈ¥²ËÊг¡ÂòÃ÷°×²Ë£¬¸éÄǶù³ò°ëÌ죬µÃµàÁ¿µàÁ¿ÊDz»ÊÇÐÂÏÊ£¬ÊDz»ÊÇ»®Ëã¡£Õâ¼æÖ°ÉÏÃÅÃÀŮҲÊÇÒ»¸öÔÀí£¬Äã²»¿É¹â¿´Íâò¡£
½²¾¿Ò»£º±ð¹â¿´Í¼£¬µÃ¿´ÆÀ¼Û
ÎÒ¸úÄã½²°¡£¬¹â¿´ÄÇЩÐû´«Í¼£¬ÄǶ¼°×³¶¡£Í¼ÅĵÃÔٺ㬶¼ÊÇPSÕû³öÀ´µÄ£¬ÄãµÃ×Ðϸ¿´¿´ÆÀ¼Û¡£¾ÍÏñÔÛÃǶ«±±µÄÉÕ¿¾Ì¯¶ùÒ»Ñù£¬Äã±ð¹â¿´ÄÇÃÅÁ³¶ùÔÃÄ¿£¬µÃÎÊÎÊÀϽַ»£¬¡°Õâ̯×Óζ¶ùÕ¦Ñù£¿¡±
ÇÄÃþ¸æËßÄ㣺ÆÀ¼ÛÀïÍ·¿´É¶£¿¿´ÄÇÖÖ´øÍ¼Æ¬µÄÆÀ¼Û£¬ÓÈÆäÊǶ«±±ÈËÅĵģ¬ÔôÀʵÔÚ¡£ÕÕÆ¬Åĵúýµãû¹ØÏµ£¬Ö»ÒªÆÀÂÛÀï˵»°½ÓµØÆø£¬ÄǾͿ¿Æ×¡£
½²¾¿¶þ£º¼Û¸ñÌ«µÍµÄ¿ÉµÃÁôÉñ
Äã˵°É£¬Õâ¸öЧÀͰɣ¬¼Û¸ñÌ«µÍÁË£¬À϶«±±ÈËÒ»¿´¾ÍµÃÄó°Ñº¹¡£ÎªÉ¶ÄØ£¿¶«±±ÓоäÀÏ»°£¬¡°Ì°Ð¡×ÔÖÆ³Ô´ó¿÷¡±£¬¶Ô°É£¿Äã¿´ÄÇЩ¼ÛÇ®µÍµÃÀëÆ×µÄ£¬Ê®Óа˾ÅÊǸö¡°¿Ó¡±¡£¾ÍÏñÔÛÃÇÀϵÀÍâµÄСºúͬ£¬ÈÆÀ´ÈÆÈ¥£¬½á¹ûÃÔ·ÁË»¹ÔôÀä¡£
ÇÄÃþÌáÐÑÄ㣺Èç¹û¼ÛÇ®µÍµÃ¿ÉÒÉ£¬ÎÊÎÊÇå³þÊDz»ÊÇÓÐɶÒþ²ØÊÕ·Ñ£¬±ðµ½×îºóÕûµÃ±È¸ß¼ÛµÄ»¹¹ó¡£
½²¾¿Èý£ºÊìÈËÍÆ¼ö²Å¿¿Æ×
Õâ¸ö°É£¬ÔÛ¶«±±È˶¼½²¾¿ÊìÈ˽éÉÜ¡£Äã¿´°¡£¬¾ÍÏñÂò¶¹¸¯ÄÔ£¬ÔÛ¶¼ÎÊÎʸôÁÚ´óÉô£¬¡°ÄļÒÄ۵㣿¡±¼æÖ°ÉÏÃÅÃÀŮҲһÑù£¬ÊìÈËÍÆ¼öµÄ£¬Ò»°ã¶¼¿¿Æ×¡£ÓÈÆäÊÇÄÇЩÊÔ¹ýµÄÈË£¬×ìÀïÍ·ÓÐÕæ»°¡£
ÚÀѽÂèѽ£¬ÕæÓÐÒâ˼£¬Õ⹤¾ß»¹´øµã¹ÊÊÂ
£¨¶«±±»°Ì壩ÄÇÌì¶ùÎÒÈ¥Êг¡Âò²Ë£¬ÅöÉϸöÀϸ磬Ëû¸úÎÒßëà¾Ëµ£¬ËûÉÏ»ØÊµÑéÕÒÁ˸ö¼æÖ°ÉÏÃÅÃÀÅ®£¬½á¹ûÕ¦µÄ£¿È˼ÒÀ´ÁËÊÇÀ´ÁË£¬Ð§ÀÍÒ²µ½Î»£¬µ«×îºó¶àÊÕÁ˸öɶ¡°½»Í¨·Ñ¡±£¬ÕûµÃËûÒ»ÄÔ´üÎʺš£ÎÒÌýÍê¾Í¸úËû˵£¬ÄãÕâ²»¾ÍÊÇûÎÊÇå³þô£¬Ì°Í¼×ÔÖÆ£¬½á¹û¡°³ÔÁË¿÷¡±¡££¨×ª»ØÆÕͨ»°£©ËùÒÔ°¡£¬ÎÒ˵ɶÀ´×Å£¬¶«±±ÈË×öʵÃʵÔÚ£¬ÎÊÇå³þÁ˲źÃÕû¡£
Äã¿ÉÄÜ»áÎÊ£ºÕâʶù¿¿Æ×²»£¿
ÕÕÎÒ˵°É£¬Õâ¸ö¹¤¾ß²»ÊDz»¿¿Æ×£¬µ«µÃ¿´ÄãÕ¦Õû¡£ÄãÒªÊÇͼÐÂÏÊ£¬ÄǾÍÎÊ×ÐϸÁË£¬±ðÏ¡ÀïºýÍ¿µØÈ¥£¬×îºóÕûµÃ¿ÉÄÖÐÄ¡£×ÜÖ®£¬ÔÛ¶«±±È˶¼½²¾¿Ò»¾ä»°¡ª¡ª¡°É¶Ê¶ù¶¼µÃÓиö×¼¶ù¡£¡±
±êÇ©£º
- ¼æÖ°ÉÏÃÅÃÀÅ®
- ¶«¶¬·çÇé
- ʵÔÚÈË
- ЧÀͽ²¾¿
- ÀϵÀ¾Ñé
¡¶º¼ÖÝÐÔЧÀͳ¡ºÏ¡·
ÈýÐÇÒѽ«Æ½ÔóP4¹¤³§µÄͶ²úʱ¼äÌáǰÖÁ½ñÄêµÚËļ¾£¬Öص㰲ÅŸßЧÄÜDRAMÓëHBM²úÏߣ»SKº£Á¦Ê¿Ò²¼Æ»®½«ÁúÈÊÒ»ÆÚ³§µÄÊÔÔËÐÐÌáǰÖÁÃ÷Äê³õ¡£
¡¶°üÍ·°ËÒ»¹«Ô°Âô‹HµÄµØ·½¾ßÌå¡·
¹ú¿Æ£¨Õã½£©ÐÂÖÊÁϼ¼ÊõÓÐÏÞ¹«Ë¾×ܾÀí ÕÔΰ£ºÐí¶à¿ÆÑÐÍŶӶ¼Óж¥¼âµÄ¼¼Êõ£¬µ«²»¶®Ôõô×ö¹¤Òµ¡£ÎÒÃǵĽÇÉ«¾ÍÊÇÒªµ±ºÃ¡°·Òë¹Ù¡±ºÍ¡°¼ÜÇÅÈË¡±£¬Ïòǰ¶Ë×öºÃ¼¼ÊõµÄ¿´·¨ÑéÖ¤£¬ºó¶Ë×öʵ¹¤Òµ»¯»ùµØ£¬´òÔì³öÍêÕûµÄÁ¢ÒìÉú̬¡£
¡¶ÐÂÃÜÂ¥·ï¡·
´óÄ£ÐÍÍÆÀíµÄ½¹µãÆ¿¾±ºã¾ÃÔÚÓÚ×Իعé½âÂëµÄ´®ÐÐʵÖÊ¡£Í¶»ú½âÂ루Speculative Decoding, SD£©Í¨¹ýÒýÈëÒ»¸öÇáÁ¿¼¶µÄ¸å±¾Ä£ÐÍÀ´Ô¤²âºóÐø token£¬²¢½»ÓÉÄ¿±êÄ£ÐͲ¢ÐÐÑéÖ¤£¬´Ó¶øÓÐЧ¼ÓËÙÁËÍÆÀíÀú³Ì¡£