金龙在演讲中首先剖析了中小企业在部署DeepSeek满血版AI大模型时面临的算力与成本挑战，包括算力要求高、部署成本高、部署门槛高以及模型性能要求高等，这些问题不仅制约了中小企业AI应用的推广，也阻碍了其数字化转型的步伐。

为破解这一难题，宝德基于openEuler Intelligence Boom推理架构，打造了“宝智灵”RAG一体机，从软硬件系统层面实现全栈优化，真正实现高性能、低成本、易使用三大核心目标，为中小企业提供了一站式、低门槛的AI大模型部署方案。

• 高性能：支持单机8卡部署DS-671B INT4量化模型、Qwen/QWQ-32B INT8稀疏压缩模型，吞吐性能媲美同档次N卡；

• 低成本：将满血版大模型部署门槛从“百万级”降至“30万级”，部署成本接近同性能N卡水平，为客户提供最具性价比的国产化推理方案；

• 易使用：一体化交付，预装全套智能底座，10分钟快速部署，开箱即用，极大降低安装、维护与迭代成本。

值得一提的是，“宝智灵”RAG一体机还具备强大的多格式智能解析能力，支持20多种主流文档格式，包括图片、文字、流程图、异形表格等复杂内容的解析，入库效率提升80%以上，泛化场景问答准确率超过80%。这不仅提高了数据处理效率，还为企业带来了显著的降本增效效果。

金龙表示，“宝智灵”RAG一体机直面成本与性能挑战，从软硬件系统维度，持续挖潜，实现最佳平衡，通过四大核心策略实现推理性能的系统级跃升。

1. 全栈协同优化：原生支持Ascend 300I Duo格式，打通“服务化/硬件兼容”关键路径；

2. 异构并行融合：突破跨机通信限制，通过PP+TP混合并行与MCCL/HCCL通信优化，缓解硬件资源受限”的内存压力；

3. 组合量化策略：在保障模型精度的前提下，部署成本直降50%，实现精度与成本的最佳平衡；

4. AI辅助敏捷开发：高效补齐关键算子缺口，显著提升推理性能同时降低开发与调优周期。

他指出，“宝智灵”RAG一体机的应用场景十分广泛，涵盖了数字政府、智慧楼宇、智慧交通、智慧医疗、智慧城市、智慧金融、智慧能源以及智慧教育等多个领域，全力帮助中小企业轻松实现信息化系统的智能化改造，精准高效地辅助事务处理，提升整体运营效率。

本次大会不仅是开源技术与AI融合的展示舞台，更是国产算力基础设施迈向智能化、普惠化的重要里程碑。宝德“宝智灵”RAG一体机的亮相，不仅展示了宝德与openEuler在AI技术领域的深厚实力，更为中小企业AI大模型的部署提供了切实可行的解决方案。正如金龙强调，“未来，宝德将继续以开源为纽带，与openEuler社区深化合作，推出更多适配产业需求的AI产品，让每个企业都能享受到智能化带来的发展红利。” 让我们携手并进，共创AI新篇章！