工业级大模型边缘一体机- 32GB内存支持FP16精度70B模型部署

  • 型号: DM_681_F

DM_681_F 高性能AI边缘计算终端专为工业智能场景的复杂需求设计,在技术指标与架构创新上实现双重突破。核心基于NVIDIA Jetson AGX Orin平台,通过自研的DeepEdge AI框架构建端侧智能新范式,具备四大核心价值:

【性能跃迁】在32GB内存环境下独创"动态内存压缩+流水线切片"技术,成功支持70B大模型FP16精度推理,推理时延突破性降至200ms以内。双PCIe NVMe固态插槽实现高速参数动态加载,配合275TOPS算力使7B模型推理速度达到45tokens/s,能效较传统方案提升3倍。

【全栈覆盖】深度优化模型部署架构,通过自适应压缩与分布式编排技术,实现1B微型模型到70B复杂大模型的端到端支持。独有的Tensor与流水线并行混合调度机制,可灵活适配不同负载场景需求。

【工业级集成】内置RESTful/OPC UA双协议接口引擎,无缝对接MES/SCADA等工业系统核心平台。针对制造业典型场景开发专用功能单元:自然语言工单解析准确率超98%,设备预测性维护算法降低30%非计划停机时间。

【灵活部署】标准化边缘计算架构通过IP67防护认证,支持-25℃~70℃宽温运行环境。双冗余千兆网口设计配合5G扩展模块,确保复杂工况下的稳定通信能力。目前已通过汽车制造、能源重工等头部企业的POC验证,典型部署周期缩短至3日。


技术规格

specifications
ModuleNvidia Jetson AGX Orin 32GBNvidia Jetson AGX Orin 64GB
AI Performance200 TOPS275 TOPS
CPU1792-core NVIDIA Ampere GPU with 56 Tensor Cores2048-core NVIDIA Ampere GPU with 64 Tensor Cores
GPU8-core NVIDIA Arm® Cortex A78AE v8.2 64- bit CPU 2MB L2 + 4MB L312-core NVIDIA Arm® Cortex A78AE v8.2 64- bit CPU 3MB L2 + 6MB L3
Memory32 GB 256-bit LPDDR5 204.8 GB/s64GB 256-bit LPDDR5 204.8 GB/s
Storage64GB eMMC 5.1
Video Encode1x 4K60 | 3x 4K30 | 6x 1080p60 | 12x 1080p30 (H.265) 1x 4K60 | 2x 4K30 | 5x 1080p60 | 11x 1080p30 (H.264)2x 4K60 4x 4K30 8x 1080p60 16x 1080p30 (H.265) 2x 4K60 4x 4K30 7x 1080p60 15x 1080p30 (H.264)
Video Decode1x 8K30 | 2x 4K60 | 4x 4K30 | 9x 1080p60| 18x 1080p30 (H.265) 1x 4K60 | 2x 4K30 | 5x 1080p60 | 11x 1080p30 (H.264)1x 8K30 3x 4K60 6x 4K30 12x 1080p60 24x 1080p30 (H.265) 1x 4K60 3x 4K30 7x 1080p60 14x 1080p30 (H.264)
Power15W - 40W15W - 60W


接口I/O

接口 interface规格/Specifications
DC电源接口 Power supply interface
Display1 x HDMI
USB4x USB 3.0 Type A (Integrated USB 2.0) 1x USB 2.0+ 3.0 (TYPE C)
Network1x Gigabit Ethernet (10/100/1000) 1xGigabit Ethernet (10G)
SIM_Card1xSIM_Card
GMSL2xGMSL
TF_Card1xTF_Card
Function key1xPower ;1xRESET ;1xRecovery


供电 Power Supply

Power SupplySpec
Input Voltage+12(16A)---+36V(140W) DC Input
Power consumption90W


结构 Mechanical

MechanicalSpec
Dimensions (W×D ×H)224X175X65.4(mm)
Weight2.8KG


环境Environmental

EnvironmentalSpec
Operating Temperature-20℃-70℃ 0.2~0.3m/s气流
Storage Temperature-20℃-60℃
Storage Humidity10%-90% non-condensing 非结露环境


尺寸示意图Schematic diagram of dimensions

正视图 Front view左视图 Left view
image.pngimage.png
俯视图 Up view后视图 Rear view
image.pngimage.png


选配表Matching table

Product nameCore moduleSSDcommunicationpower
ALP_681_F




J1:AGX Orin(32G)



J2:AGX Orin(64G)




N



128G



256G



512G



1T




N



4G



5G




N




01:明纬




02:定制