亚马逊AWS将部署Cerebras CS-3,与自家Trainium配套使用

智观行业
3月16日发布

IT之家 3 月 16 日消息,亚马逊 AWS 与晶圆级 AI 芯片企业 Cerebras 美国当地时间本月 13 日宣布,亚马逊的 Amazon Bedrock 平台在未来数月将部署结合双方芯片产品的混合 AI 推理系统,带来最快的负载处理速度。


这一解决方案将结合 Cerebras 的 CS-3 系统、亚马逊 AWS 的 Trainium 芯片和亚马逊 AWS 的 EFA 弹性网络适配器,由 Trainium 芯片负责推理的预填充(提示处理),而 CS-3 则承担解码(输出生成任务),两者通过 EFA 连接在一起。


IT之家了解到,推理预填充属于并行工作负载,要求大算力和适中的内存带宽;推理解码本质上是串行的,算力要求较小但内存带宽要求高。组合使用 Trainium 和 CS-3 能发挥两款 AI 芯片各自的长处,提供最佳的最终用户体验。

联系信息


邮箱:xiaosea2@163.com

电话:15733175200

企查查:15733175200

天眼查:15733175200

黄页88:15733175200

顺企网:15733175200

阿里巴巴:15733175200

网址:https://zizun.niushi.cc

© 版权声明
THE END
喜欢就支持一下吧
点赞 0 分享 收藏
评论
所有页面的评论已关闭