AI 硬件与部署 今日: 0|主题: 208|排名: 26 

不想把 AI 和数据交给云厂商，也不想折腾复杂部署？ Olares 提供了一种本地 AI 云方案：把计算、存储和应用管理放回自己的硬件上。 它支持： 一键部署本地 AI 模型 GPU 资源自动调度 搭建私有知识库 应用沙箱隔离 统一管理存储、数据库和备份 多设备访问与统一登录 底层把 Kubernetes 等复杂基础设施封装起来，让自托管 ...

“一张 16GB 显卡，也能跑 27B 大模型。” 看到这句话，先别急着下载权重。 你还需要知道：用了什么量化？上下文开了多长？模型是否全部放在显存里？所谓“快”，指开始回答快，还是回答时每秒生成的 token 多？ 这些条件不同，“能跑”的含义可能相差很大。模型成功加载，只是第一步；能读完你的材料、给出可靠答案，并 ...

在着手编写这本手册之前，我自以为理解了 GPU 利用率的概念。 我曾一度将三个截然不同的概念混为一谈：内核（kernel）启动的任务、实际驻留在 GPU 上的任务，以及当前准备好发射（issue）的任务。它们并非同一回事。 以一个包含 240 个线程块（block）、每个块 256 个线程的内核为例。这意味着共有 61,440 个逻辑线程，即 ...

有本事就来拿 未经注册的算力全天候运行着非法的中国产“叮当响”机器

在 2023/2024 年做这件事简直是疯狂且愚蠢的，但我当时坚信本地运行的 AI 和开源 AI 代表着未来。 这是我做过的最棒的投资和押注。

华硕刚刚发布了迄今为止最小的AI工作站。 ProArt GR1X搭载NVIDIA RTX Spark显卡，配备： • 128GB统一显存 • Blackwell GPU（6144个CUDA核心） • 20核Grace CPU • 10GbE + Wi-Fi 7 • 最高1 PFLOP FP4 AI性能 • 全天候双风扇散热 这款150mm迷你PC专为运行高达1200亿参数的本地AI模型而设计。 ...

破案了，这次 ChatGPT 6 Astra 惊艳的表现，背后传言的那 10 万台顶级 AI 训练芯片，确定是英伟达最新一代 Grace Blackwell，而黄仁勋多写的那句 NVLink72，等于把机型系统也点名了。NVLink72 是一套把一个机柜里，大约 72 张英伟达 Blackwell GPU，用超高带宽连成一块大整机，按 OpenAI 这次需求，再把很多这样的机柜，拼 ...

属于硬件垃圾佬的参考方案又来了 直接u盘部署agent，走到哪插到哪 感觉可以拿着开源的项目，二开，然后出去卖u盘 甚至可以在底层文件里写入自己的中转站 想用是吧？ 按月给我的平台交钱 满满的套路来了啊～ 地址依然评论区 ...

发现一个挺有意思的开源项目：Kindle Dashboard，专门拯救吃灰的老 Kindle。 能直接改造成一块超省电的电子墨水屏信息板，用来显示天气、日历股票行情之类的信息都很合适。 而且电子墨水屏长时间显示几乎不耗电，挂桌上当常驻 Dashboard，反而比吃灰有意思多了。 https://github.com/alexishida/kindle-dashboard ...

把 Cloudflare Workers 整套平台能力装进单个二进制文件，让你在自己的机器上原样运行 Workers 应用，无需账号和云厂商。 https://github.com/elliothux/open-compute

过去十年 AI 硬件的演进史,本质是一部通用算力的自杀史: 从什么逻辑都能跑的 CPU,到数千核并行的 GPU, 再到波浪式流动的 TPU,以及边缘低功耗的 NPU, 直到最后连内存都不要的 LPU, 你得到的每一毫秒延迟降低,都是拿芯片的通用寿命换来的。 所以大家也别再以为 AI 算力竞争只是在拼谁的跑分更高,
把 CPU、GPU、TPU、NPU 和 ...

【OpenAI买了几万台苹果Mac，专门搞强化学习】据量子位，OpenAI已购买数以万计的Mac mini和Mac Studio用于强化学习，Anthropic也通过AWS租Mac mini做类似任务。 这些Mac用来训练"计算机使用智能体"，能自主操作电脑完成编辑测试代码、整理邮箱、总结文档等多步骤任务。 AI训练长期由英伟达GPU主导，但Mac能在强化学习被 ...

Mac mini其实应用范围真的不广…除去本体屏幕、键盘、鼠标加起来也得2K 之前M4的Mac mini爆火是因为最低2开头的价格不仅是对于手上已经有一套屏幕键盘鼠标的人群，哪怕是在花2K买一套，哪怕是算上二手，M4 Mac mini依旧是苹果最佳入门性价比产品，但是现在的M6 Mac mini 7K的价位[捂嘴哭]这价格你去买个二手M4 MacBook不是 ...

6月初的Computex 2026大展上，，配备GB300超级芯片和748GB统一内存，合作品牌包括华硕、戴尔、技嘉、微星、超微、惠普。GB300超级芯片分为Blackwell Ultra GPU（20480核心）、Grace CPU（72核心Arm架构）两部分，FP4精度稀疏算力高达20PFlops（2亿亿次每秒），FP8精度下也有10PFlops（1亿亿次每秒）。CPU搭配了496GB LPDDR5 ...

很多人在吹新款Mac Studio是性价比之王，超过了NVIDIA RTX 5090，RTX PRO 6000 Blackwell Workstation，NVIDIA DGX Spark等等， 准备买新Mac跑本地AI的朋友先别急着下单， 80%的人根本不需要买2500美元起的Mac Studio， 选配置的逻辑极其简单，不要看CPU跑分，先看你需要多少统一内存 这代苹果把产品线切得很死，照着这个 ...

还有人不懂什么是AI硬件？看完这篇帖子就足够了 第一层（算力芯片）： $NVDA 、 $AMD 、$AVGO、$MRVL、$ARM、$INTC 第二层（晶圆代工/先进封装）：$TSM、$AMKR、$ASX 第三层（半导体设备）：$ASML、$AMAT、$LRCX、$KLAC、$ENTG 第四层（HBM/DRAM）： $MU 、$SK Hynix、$Samsung 第五层（NAND/SSD/HDD存储）： $ ...

真正普及 Physical AI 的，可能不是人形机器人，而是一只机器鸭：Microduck。Microduck 和大型人形机器人，代表的其实是 Physical AI 的两条路线。 大型人形机器人负责探索能力上限，Microduck 这种小型机器人，更适合把 Physical AI 带进开发者的日常实验环境。我反而很看好后者。 ① 更适合高频试错 Physical AI 最大的问 ...

OpenAI从苹果挖走大约400名员工， 苹果说其中两人带走了硬件设计和供应链机密，7月把他们和OpenAI一起告了。 据报道，OpenAI要搞一款便携、无屏、带摄像头的AI音箱。 所以这是要抄袭小爱同学了？？😂