HarryR将全部推理引擎、模型权重以及聊天交互界面全部紧缩进了一个仅约40KB的文件中,完美运行在只有64KB RAM的老古董硬件上。


为了实现这一弗成能的义务,其采取了极其硬核的优化,他放弃了浮点运算,全部改用Z80 原生的16位整数运算。
同时还应用了2位权重向量化技巧,将每个权重紧缩到{-2, -1, 0, +1}之间,每字节能打包存储4个权重。
今朝项目供给两个示例,Tinychat机械人会以极简风格回应问候与提问,如OK表示中性确认,WHY?代表质疑前提,MAYBE表示不肯定等;另一款Guess则是一个20问猜谜游戏,AI会守着一个机密让用户去破解。
HarryR坦言这套体系绝无可能经由过程图灵测试,但其价值在于摸索AI的体积下限,开辟者特意设计含糊其词的答复,迫使人类经由过程高低文揣摸或yes/no提问来探测AI的真实懂得程度。

发表评论 取消回复