¿­·¢K8Æì½¢Ìü

À´Ô´£ºÖÐ×ÓÐÇ£¬×÷Õߣº £¬£º

ÚÀѽ£¬ÄãÌý˵²»£¬Õ⡸¼æÖ°ÉÏÃÅÃÀÅ®¡¹×î½üÔô»ð

ÎÒ¸úÄã˵°¡£¬×î½üÎÒÁï´ïÊг¡£¬ÌýСáÌ×ÓÃǸéÄǶù³¶ÏÐÆª¶ù£¬ËµÊ²Ã´¡¸¼æÖ°ÉÏÃÅÃÀÅ®¡¹£¬ÀÏ´ø¾¢ÁË£¬Ò»Ëµ¾Í¸Â¸ÂÓл°Ìâ¡£ÎÒ»¹Ñ°Ë¼É¶ÍæÒâ¶ùÄØ£¿ØÊºóÒ»×ÁÄ¥£¬Õâ²»¾ÍÊÇÔÛÃǶ«±±ÀÏ»°½²µÄ¡°Ð§ÀÍÉÏÃÅ¡±Ã´£¿²»¹ýÏÖÔڿɲ»¿ÉÊÇËÍÍâÂô¡¢ÐÞË®¹ÜÕâÖÖʶùÁË£¬ÄÇÊÇɶ¶¼ÓУ¬Î廨°ËÃŵúÜ¡£

Äã˵°É£¬Õâ¸ö¹¤¾ß°É£¬ÓÐÈ˾õµÃÊǸöÐÂÏÊʶù£¬ÓÐÈ˾õµÃûɶϡº±µÄ£¬µ«ÕÕÎÒ˵°¡£¬ÕâÀïÍ·ÃŵÀ¿É²»ÉÙ¡£Äã¿´£¬Õâ¡°ÃÀÅ®¡±Á©×־͸éÄǶù£¬¼¸¶àÈËÒ»Ìý¾ÍÐÄ˼»îÔ¾ÁË£¬¾õµÃÄÜÓÐɶϡº±¾¢¶ù¡£Æäʵ°É£¬ÕâÀïÃæ¿ÉÐüÁË£¬Õæ²»Êǹ⿴ͼѡÈËÄÇô¼òµ¥¡£½ñÌìÎҾ͸úÄãßëß룬ÀïÍ·µÄ½²¾¿¡£

¡°¼æÖ°ÉÏÃÅÃÀÅ®¡±£¬À϶«±±µÄÑ۹⿴͸Ëü

Õâ¸ö°É£¬¼æÖ°ÉÏÃÅÃÀÅ®°É£¬ÔÛ¶«±±ÈËÕ¦¿´ÄØ£¿Äǿ϶¨µÚÒ»·´Ó¦¾ÍÊÇ¡°É¶ÍæÒâ¶ù£¿ÕæµÄ¼ÙµÄ£¿¡±Äã¿´°¡£¬ÔÛ¶«±±ÈË×î½²¾¿ÊµÔÚ£¬¾ÍÏñÄãÈ¥²ËÊг¡ÂòÃ÷°×²Ë£¬¸éÄǶù³ò°ëÌ죬µÃµàÁ¿µàÁ¿ÊDz»ÊÇÐÂÏÊ£¬ÊDz»ÊÇ»®Ëã¡£Õâ¼æÖ°ÉÏÃÅÃÀŮҲÊÇÒ»¸öÔ­Àí£¬Äã²»¿É¹â¿´Íâò¡£

½²¾¿Ò»£º±ð¹â¿´Í¼£¬µÃ¿´ÆÀ¼Û

ÎÒ¸úÄã½²°¡£¬¹â¿´ÄÇЩÐû´«Í¼£¬ÄǶ¼°×³¶¡£Í¼ÅĵÃÔٺ㬶¼ÊÇPSÕû³öÀ´µÄ£¬ÄãµÃ×Ðϸ¿´¿´ÆÀ¼Û¡£¾ÍÏñÔÛÃǶ«±±µÄÉÕ¿¾Ì¯¶ùÒ»Ñù£¬Äã±ð¹â¿´ÄÇÃÅÁ³¶ùÔÃÄ¿£¬µÃÎÊÎÊÀϽַ»£¬¡°Õâ̯×Óζ¶ùÕ¦Ñù£¿¡±

ÇÄÃþ¸æËßÄ㣺ÆÀ¼ÛÀïÍ·¿´É¶£¿¿´ÄÇÖÖ´øÍ¼Æ¬µÄÆÀ¼Û£¬ÓÈÆäÊǶ«±±ÈËÅĵÄ£¬ÔôÀ­ÊµÔÚ¡£ÕÕÆ¬Åĵúýµãû¹ØÏµ£¬Ö»ÒªÆÀÂÛÀï˵»°½ÓµØÆø£¬ÄǾͿ¿Æ×¡£

½²¾¿¶þ£º¼Û¸ñÌ«µÍµÄ¿ÉµÃÁôÉñ

Äã˵°É£¬Õâ¸öЧÀͰÉ£¬¼Û¸ñÌ«µÍÁË£¬À϶«±±ÈËÒ»¿´¾ÍµÃÄó°Ñº¹¡£ÎªÉ¶ÄØ£¿¶«±±ÓоäÀÏ»°£¬¡°Ì°Ð¡×ÔÖÆ³Ô´ó¿÷¡±£¬¶Ô°É£¿Äã¿´ÄÇЩ¼ÛÇ®µÍµÃÀëÆ×µÄ£¬Ê®Óа˾ÅÊǸö¡°¿Ó¡±¡£¾ÍÏñÔÛÃÇÀϵÀÍâµÄСºúͬ£¬ÈÆÀ´ÈÆÈ¥£¬½á¹ûÃÔ·ÁË»¹ÔôÀä¡£

ÇÄÃþÌáÐÑÄ㣺Èç¹û¼ÛÇ®µÍµÃ¿ÉÒÉ£¬ÎÊÎÊÇå³þÊDz»ÊÇÓÐɶÒþ²ØÊÕ·Ñ£¬±ðµ½×îºóÕûµÃ±È¸ß¼ÛµÄ»¹¹ó¡£

½²¾¿Èý£ºÊìÈËÍÆ¼ö²Å¿¿Æ×

Õâ¸ö°É£¬ÔÛ¶«±±È˶¼½²¾¿ÊìÈ˽éÉÜ¡£Äã¿´°¡£¬¾ÍÏñÂò¶¹¸¯ÄÔ£¬ÔÛ¶¼ÎÊÎʸôÁÚ´óÉô£¬¡°ÄļÒÄ۵㣿¡±¼æÖ°ÉÏÃÅÃÀŮҲһÑù£¬ÊìÈËÍÆ¼öµÄ£¬Ò»°ã¶¼¿¿Æ×¡£ÓÈÆäÊÇÄÇЩÊÔ¹ýµÄÈË£¬×ìÀïÍ·ÓÐÕæ»°¡£

ÚÀѽÂèѽ£¬ÕæÓÐÒâ˼£¬Õ⹤¾ß»¹´øµã¹ÊÊÂ

£¨¶«±±»°Ì壩ÄÇÌì¶ùÎÒÈ¥Êг¡Âò²Ë£¬ÅöÉϸöÀϸ磬Ëû¸úÎÒßëà¾Ëµ£¬ËûÉÏ»ØÊµÑéÕÒÁ˸ö¼æÖ°ÉÏÃÅÃÀÅ®£¬½á¹ûÕ¦µÄ£¿È˼ÒÀ´ÁËÊÇÀ´ÁË£¬Ð§ÀÍÒ²µ½Î»£¬µ«×îºó¶àÊÕÁ˸öɶ¡°½»Í¨·Ñ¡±£¬ÕûµÃËûÒ»ÄÔ´üÎʺÅ¡£ÎÒÌýÍê¾Í¸úËû˵£¬ÄãÕâ²»¾ÍÊÇûÎÊÇå³þô£¬Ì°Í¼×ÔÖÆ£¬½á¹û¡°³ÔÁË¿÷¡±¡££¨×ª»ØÆÕͨ»°£©ËùÒÔ°¡£¬ÎÒ˵ɶÀ´×Å£¬¶«±±ÈË×öʵÃʵÔÚ£¬ÎÊÇå³þÁ˲źÃÕû¡£


Ïà¹ØÍ¼Æ¬

Äã¿ÉÄÜ»áÎÊ£ºÕâʶù¿¿Æ×²»£¿

ÕÕÎÒ˵°É£¬Õâ¸ö¹¤¾ß²»ÊDz»¿¿Æ×£¬µ«µÃ¿´ÄãÕ¦Õû¡£ÄãÒªÊÇͼÐÂÏÊ£¬ÄǾÍÎÊ×ÐϸÁË£¬±ðÏ¡ÀïºýÍ¿µØÈ¥£¬×îºóÕûµÃ¿ÉÄÖÐÄ¡£×ÜÖ®£¬ÔÛ¶«±±È˶¼½²¾¿Ò»¾ä»°¡ª¡ª¡°É¶Ê¶ù¶¼µÃÓиö×¼¶ù¡£¡±

±êÇ©£º

    Ïà¹ØÍ¼Æ¬
  • ¼æÖ°ÉÏÃÅÃÀÅ®
  • ¶«¶¬·çÇé
  • ʵÔÚÈË
  • ЧÀͽ²¾¿
  • ÀϵÀ¾­Ñé
Ïà¹ØÍ¼Æ¬

¡¶º¼ÖÝÐÔЧÀͳ¡ºÏ¡·

ÈýÐÇÒѽ«Æ½ÔóP4¹¤³§µÄͶ²úʱ¼äÌáǰÖÁ½ñÄêµÚËļ¾£¬Öص㰲ÅŸßЧÄÜDRAMÓëHBM²úÏߣ»SKº£Á¦Ê¿Ò²¼Æ»®½«ÁúÈÊÒ»ÆÚ³§µÄÊÔÔËÐÐÌáǰÖÁÃ÷Äê³õ¡£

¡¶°üÍ·°ËÒ»¹«Ô°Âô‹HµÄµØ·½¾ßÌå¡·

¹ú¿Æ£¨Õã½­£©ÐÂÖÊÁϼ¼ÊõÓÐÏÞ¹«Ë¾×ܾ­Àí ÕÔΰ£ºÐí¶à¿ÆÑÐÍŶӶ¼Óж¥¼âµÄ¼¼Êõ£¬µ«²»¶®Ôõô×ö¹¤Òµ¡£ÎÒÃǵĽÇÉ«¾ÍÊÇÒªµ±ºÃ¡°·­Òë¹Ù¡±ºÍ¡°¼ÜÇÅÈË¡±£¬Ïòǰ¶Ë×öºÃ¼¼ÊõµÄ¿´·¨ÑéÖ¤£¬ºó¶Ë×öʵ¹¤Òµ»¯»ùµØ£¬´òÔì³öÍêÕûµÄÁ¢ÒìÉú̬¡£

¡¶ÐÂÃÜÂ¥·ï¡·

´óÄ£ÐÍÍÆÀíµÄ½¹µãÆ¿¾±ºã¾ÃÔÚÓÚ×Իعé½âÂëµÄ´®ÐÐʵÖÊ¡£Í¶»ú½âÂ루Speculative Decoding, SD£©Í¨¹ýÒýÈëÒ»¸öÇáÁ¿¼¶µÄ¸å±¾Ä£ÐÍÀ´Ô¤²âºóÐø token£¬²¢½»ÓÉÄ¿±êÄ£ÐͲ¢ÐÐÑéÖ¤£¬´Ó¶øÓÐЧ¼ÓËÙÁËÍÆÀíÀú³Ì¡£

ÍøÕ¾µØÍ¼