网站快照
深 圳 市 翎 华 维 科 技 有 限 公 司 | S h e n z h e n L i n g h u a W e i T e c h n o l o g y C o . , L t d . 翎 深 圳 市 翎 华 维 科 技 有 限 公 司 S h e n z h e n L i n g h u a W e i T e c h n o l o g y C o . , L t d . 关 于 我 们 业 务 范 围 企 业 优 势 技 术 实 力 联 系 我 们 L H W - 1 7 5 B 大 语 言 模 型 · 推 理 服 务 在 线 · S L A 9 9 . 9 8 % 大 模 型 驱 动 A G I 落 地 先 行 者 自 主 研 发 1 7 5 B 参 数 混 合 专 家 大 语 言 模 型 , 融 合 多 模 态 感 知 、 长 链 推 理 与 边 缘 部 署 能 力 , 以 端 到 端 A I 原 生 架 构 赋 能 工 业 、 医 疗 、 安 全 等 垂 直 领 域 智 能 化 升 级 。
探 索 业 务 → 联 系 我 们 🧠 1 7 5 B 模 型 总 参 数 量 ⚡ m s P 9 9 端 侧 推 理 延 迟 🎯 9 4 . 1 % G S M 8 K 数 学 推 理 准 确 率 🖥 ️ 5 1 2 卡 A 1 0 0 分 布 式 训 练 集 群 L H W - 1 7 5 B 大 语 言 模 型 M u l t i m o d a l · L o n g - C o n t e x t · E d g e - D e p l o y a b l e F o u n d a t i o n M o d e l 🔬 基 础 架 构 T r a n s f o r m e r D e c o d e r - O n l y + M o E ( 6 4 E x p e r t s , T o p - 8 路 由 ) 📐 参 数 规 模 1 7 5 . 4 B T o t a l · 激 活 参 数 2 2 B · 稀 疏 激 活 率 1 2 . 6 % 🧩 注 意 力 机 制 G Q A · 9 6 h e a d s · d _ m o d e l = 1 2 , 2 8 8 · R o P E θ = 5 0 0 K 🪟 上 下 文 窗 口 1 2 8 K t o k e n s · B P E 词 汇 表 1 5 2 , 0 6 4 · S w i G L U 激 活 推 理 服 务 在 线 · S L A 9 9 . 9 8 % 基 准 测 试 评 分 M M L U 综 合 推 理 8 9 . 2 % H u m a n E v a l 代 码 生 成 8 2 . 6 % G S M 8 K 数 学 推 理 9 4 . 1 % H e l l a S w a g 常 识 推 理 9 5 . 8 % 关 于 我 们 以 科 技 创 新 驱 动 产 业 发 展 翎 华 维 科 技 自 主 研 发 L H W - 1 7 5 B 稀 疏 混 合 专 家 大 语 言 模 型 , 采 用 Z e R O - 3 分 布 式 训 练 框 架 在 5 1 2 块 A 1 0 0 G P U 集 群 上 完 成 4 . 2 T t o k e n s 预 训 练 , 配 合 R L H F 对 齐 与 多 阶 段 指 令 微 调 , 实 现 工 业 级 推 理 精 度 与 亚 5 0 m s 端 侧 延 迟 的 双 重 突 破 。
大 规 模 预 训 练 与 数 据 工 程 4 . 2 T t o k e n s 多 语 言 语 料 库 , 经 M i n H a s h L S H 去 重 + 质 量 过 滤 , 数 据 利 用 率 提 升 3 7 % R L H F 对 齐 优 化 P P O 算 法 + K L 散 度 约 束 ( β = 0 . 0 2 ) , 奖 励 模 型 迭 代 3 , 2 0 0 轮 , D P O 二 阶 段 精 调 多 模 态 跨 模 态 对 齐 V i T - L / 1 4 视 觉 编 码 器 + Q - F o r m e r 跨 模 态 注 意 力 , 支 持 图 文 联 合 推 理 与 视 觉 问 答 边 缘 端 量 化 部 署 I N T 4 / I N T 8 混 合 量 化 + 4 : 1 知 识 蒸 馏 , 边 缘 版 L H W - 7 B 支 持 N P U 离 线 推 理 业 务 范 围 全 方 位 科 技 解 决 方 案 覆 盖 软 件 开 发 、 人 工 智 能 、 工 业 机 器 人 、 医 疗 器 械 等 多 个 核 心 领 域 , 为 客 户 提 供 端 到 端 的 数 智 化 转 型 支 撑 。
💻 软 件 开 发 与 技 术 服 务 提 供 定 制 化 软 件 开 发 、 信 息 技 术 咨 询 、 网 络 技 术 服 务 及 计 算 机 系 统 集 成 , 助 力 企 业 数 字 化 转 型 。
软 件 开 发 技 术 咨 询 网 络 服 务 🤖 工 业 机 器 人 工 业 机 器 人 制 造 、 销 售 、 安 装 与 维 修 , 提 供 全 生 命 周 期 机 器 人 解 决 方 案 , 助 力 工 厂 智 能 化 。
机 器 人 制 造 安 装 维 修 智 能 工 厂 🧠 人 工 智 能 与 智 能 硬 件 人 工 智 能 硬 件 、 智 能 机 器 人 及 可 穿 戴 智 能 设 备 的 研 发 与 销 售 , 打 造 智 慧 生 活 与 产 业 生 态 。
A I 硬 件 智 能 机 器 人 可 穿 戴 设 备 🏥 医 疗 器 械 第 二 类 医 疗 器 械 销 售 与 租 赁 、 第 三 类 医 疗 器 械 租 赁 , 为 医 疗 机 构 提 供 专 业 的 设 备 配 套 服 务 。
二 类 器 械 三 类 器 械 医 疗 租 赁 🔒 信 息 安 全 产 品 计 算 机 信 息 系 统 安 全 专 用 产 品 销 售 , 为 企 业 和 政 府 机 构 提 供 全 方 位 的 网 络 与 数 据 安 全 保 障 。
信 息 安 全 数 据 保 护 安 全 产 品 🌐 贸 易 代 理 与 技 术 进 出 口 国 内 贸 易 代 理 、 贸 易 代 理 及 技 术 进 出 口 业 务 , 连 接 国 内 外 市 场 , 推 动 科 技 产 品 的 全 球 流 通 。
贸 易 代 理 技 术 进 出 口 国 际 贸 易 核 心 技 术 指 标 为 何 选 择 翎 华 维 L H W - 1 7 5 B 从 模 型 训 练 到 端 侧 推 理 , 全 链 路 自 研 , 关 键 技 术 指 标 行 业 领 先 , 覆 盖 A G I 核 心 能 力 基 准 。
1 7 5 B 模 型 总 参 数 量 M o E 稀 疏 激 活 , 激 活 参 数 仅 2 2 B , 算 力 效 率 比 稠 密 模 型 提 升 4 . 2 × P 9 9 推 理 延 迟 T e n s o r R T - L L M + v L L M 连 续 批 处 理 , 吞 吐 量 达 1 , 2 4 0 t o k e n s / s 1 2 8 K 上 下 文 窗 口 长 度 R o P E θ = 5 0 0 K 位 置 编 码 外 推 , 长 文 档 理 解 无 损 R e c a l l @ 1 0 9 8 . 3 % 4 : 1 知 识 蒸 馏 压 缩 比 蒸 馏 至 L H W - 7 B 端 侧 版 本 , N P U 离 线 部 署 , 功 耗 技 术 实 力 L H W - 1 7 5 B 完 整 技 术 规 格 从 预 训 练 架 构 到 推 理 优 化 , 全 链 路 核 心 参 数 公 开 , 接 受 同 行 评 审 与 基 准 复 现 🧠 模 型 架 构 技 术 参 数 表 · L H W - 1 7 5 B v 2 . 4 基 础 架 构 T r a n s f o r m e r D e c o d e r - O n l y M o E 变 体 总 参 数 量 1 7 5 . 4 B · 激 活 参 数 2 2 B · 稀 疏 率 1 2 . 6 % 注 意 力 机 制 G Q A · 9 6 h e a d s · d _ m o d e l = 1 2 , 2 8 8 前 馈 网 络 F F N d i m = 4 9 , 1 5 2 · S w i G L U 激 活 函 数 混 合 专 家 M o E 6 4 E x p e r t s · T o p - 8 路 由 · 负 载 均 衡 辅 助 损 失 上 下 文 窗 口 1 2 8 K t o k e n s · R o P E 位 置 编 码 θ = 5 0 0 , 0 0 0 词 汇 表 1 5 2 , 0 6 4 t o k e n s · B P E 分 词 · 多 语 言 覆 盖 训 练 数 据 量 4 . 2 T t o k e n s · M i n H a s h L S H 去 重 · 质 量 过 滤 训 练 总 算 力 3 . 1 4 × 1 0 ² ³ F L O P S · F P 1 6 混 合 精 度 对 齐 训 练 P P O + D P O 二 阶 段 · K L 约 束 β = 0 . 0 2 · 3 , 2 0 0 轮 量 化 支 持 F P 1 6 / I N T 8 / I N T 4 混 合 量 化 · G P T Q / A W Q 推 理 框 架 v L L M 0 . 6 . 3 · T e n s o r R T - L L M 0 . 1 2 · 连 续 批 处 理 蒸 馏 版 本 L H W - 7 B · 4 : 1 压 缩 · N P U 离 线 推 理 🖥 ️ 算 力 基 础 设 施 · C l u s t e r v 3 . 0 ⚡ 训 练 加 速 集 群 5 1 2 × N V I D I A A 1 0 0 8 0 G B S X M 4 N V L i n k 4 . 0 · 全 互 联 拓 扑 · 峰 值 7 8 . 1 P F L O P S 🌐 高 速 网 络 互 联 I n f i n i B a n d H D R 2 0 0 G b p s F a t - T r e e 拓 扑 · R D M A o v e r C o n v e r g e d E t h e r n e t 🔀 并 行 训 练 策 略 T P = 8 · P P = 4 · D P = 1 6 Z e R O - 3 优 化 器 分 片 · 激 活 检 查 点 复 用 💾 并 行 文 件 存 储 L u s t r e 8 P B · 聚 合 带 宽 4 8 0 G B / s 分 布 式 检 查 点 · 断 点 续 训 容 错 🚀 推 理 服 务 集 群 1 2 8 × N V I D I A H 1 0 0 S X M 5 ( F P 8 ) P a g e d A t t e n t i o n · 吞 吐 1 , 2 4 0 t o k e n s / s / 卡 🔍 向 量 检 索 数 据 库 H N S W 索 引 · 2 . 3 T B E m b e d d i n g 库 p g v e c t o r + F a i s s · A N N 召 回 率 9 9 . 1 % 📊 可 观 测 性 平 台 P r o m e t h e u s + G r a f a n a + O p e n T e l e m e t r y 实 时 算 力 调 度 · 自 动 故 障 转 移 · P 9 9 告 警 联 系 我 们 开 启 合 作 之 旅 无 论 您 有 业 务 咨 询 、 合 作 意 向 还 是 其 他 需 求 , 我 们 的 团 队 将 在 第 一 时 间 为 您 响 应 。
联 系 方 式 📍 1 7 3 2 4 4 9 7 6 8 3 公 司 地 址 深 圳 市 宝 安 区 沙 井 街 道 衙 边 社 区 巨 基 科 技 大 厦 7 2 5 📮 通 信 地 址 深 圳 市 宝 安 区 新 桥 街 道 新 桥 社 区 巨 基 科 技 大 厦 7 2 5 🕒 工 作 时 间 周 一 至 周 五 0 9 : 0 0 – 1 8 : 0 0 发 送 消 息 填 写 以 下 表 单 , 我 们 将 尽 快 与 您 联 系 您 的 姓 名 * 联 系 电 话 * 电 子 邮 箱 合 作 意 向 请 选 择 合 作 方 向 软 件 开 发 与 技 术 服 务 工 业 机 器 人 人 工 智 能 与 智 能 硬 件 医 疗 器 械 信 息 安 全 产 品 贸 易 代 理 与 技 术 进 出 口 其 他 留 言 内 容 * 提 交 留 言 → 翎 深 圳 市 翎 华 维 科 技 有 限 公 司 S h e n z h e n L i n g h u a W e i T e c h n o l o g y C o . , L t d . 以 科 技 创 新 驱 动 产 业 发 展 , 聚 焦 软 件 开 发 、 人 工 智 能 、 工 业 机 器 人 及 智 能 设 备 等 领 域 , 致 力 于 为 客 户 创 造 卓 越 价 值 。
业 务 领 域 软 件 开 发 工 业 机 器 人 人 工 智 能 硬 件 医 疗 器 械 信 息 安 全 公 司 信 息 关 于 我 们 核 心 指 标 技 术 实 力 联 系 我 们 模 型 资 源 L H W - 1 7 5 B 技 术 报 告 L H W - 7 B 端 侧 部 署 指 南 A P I 接 入 文 档 基 准 测 试 复 现 代 码 © 2 0 2 1 – 2 0 2 6 深 圳 市 翎 华 维 科 技 有 限 公 司 · 版 权 所 有 粤 I C P 备 2 0 2 1 1 7 8 7 7 4 号 - 2 ✅ 留 言 已 发 送 , 我 们 将 尽 快 与 您 联 系 ! ↑