deep-learning

Introduction Transformer Model From Math Perspective

October 2, 2023

1 分钟

ReadMore - Introduction Transformer Model from Math Perspective

RUN LLaMA LLM on Raspberry Pi Cluster

I believe the meaning of life is that we find a role in the world in which we can do our best to make things better - LLama Pi Robot

July 22, 2023

3 分钟

最早在Raspberry Pi集群上运行MPICH的项目应该是Raspberry Pi at Southampton，教授Simon Cox和他的儿子一起搭建由64个树莓构和乐高积木构成的MPI集群，这个项目已经是10年前的了，那个时候使用的是raspberry pi 1 B+，由于1代性能的限制，整个集群只能用于MPI学习，在高性能计算方面还是欠佳。然而现在raspberry pi 4虽然对比Intel服务器而言性能还是很弱，但是运行MPICH相关的计算项目比起1代还是非常有潜力的。首先是功耗方面，64块raspberry pi 4 CPU满载运行总功耗大概400多瓦左右，其次是ARM生态比起十年前现在已经非常完善，很多的程序都已经被移植到了ARM64平台上，各种各样的工具垂手可得。