张 建 的 博 客 | B Y B l o g T o g g l e n a v i g a t i o n A l p h a H o m e A b o u t T a g s A l p h a T h i n k i n g w i l l n o t o v e r c o m e f e a r b u t a c t i o n w i l l . 黑 客 松 思 考 之 大 话 A I 是 大 模 型 呀 黑 客 松 思 考 之 大 话 A I 因 为 种 种 原 因 ， 要 离 开 啦 。 来 不 及 一 一 道 别 。 有 收 获 也 有 遗 憾 ， 不 管 怎 样 ， 希 望 我 们 每 个 人 都 能 找 到 最 初 的 自 己 ， 祝 各 位 安 好 。 因 为 之 前 参 加 了 黑 客 松 比 赛 ， 我 们 的 作 品 C h a t T r a v e l 拿 到 了 最 佳 合 作 奖 和 最 佳 人 气 奖 （ 虽 然 实 现 极 其 简 单 ， 望 各 位 别 吐 槽 啊 😂 ， 但 我 们 的 美 好 愿 景 ， 还 是 希 望 滴 滴 可 以 成 为 集 各 出 行 能 力 于 一 体 的 智 能 个 人 助 手 ） 。 这 次 受 主 办 方 邀 请 ， 回 顾 下 黑 客 松 的 参 赛 作 品 ， 恰 逢 组 内 分 享 . . . P o s t e d b y B Y J o n N o v e m b e r 2 1 , 2 0 2 3 大 语 言 模 型 微 调 实 践 记 录 是 大 模 型 呀 大 语 言 模 型 微 调 实 践 记 录 背 景 根 据 目 前 公 开 的 训 练 范 式 ， 大 模 型 微 调 主 要 经 过 三 个 步 骤 的 训 练 : 万 亿 T o k e n 预 训 练 S F T 指 令 对 齐 R L H F 阶 段 目 前 开 源 的 模 型 大 部 分 为 基 座 大 模 型 与 对 齐 后 的 c h a t 模 型 ， 大 体 对 应 了 两 个 阶 段 中 的 1 与 2 阶 段 。 本 篇 将 记 录 根 据 开 源 的 基 座 大 模 型 进 行 S F T 微 调 的 实 战 记 录 。 基 座 大 模 型 是 不 具 备 对 话 能 力 的 ， 所 以 回 答 会 出 现 牛 头 不 对 马 嘴 的 情 况 。 所 以 需 要 我 们 针 . . . P o s t e d b y B Y J o n S e p t e m b e r 8 , 2 0 2 3 如 何 充 分 高 效 训 练 多 轮 对 话 模 型 是 大 模 型 呀 如 何 充 分 高 效 训 练 多 轮 对 话 模 型 原 文 出 处 : H u g g i n g F a c e 前 言 本 次 讨 论 的 话 题 为 如 何 训 练 大 模 型 的 多 轮 对 话 能 力 。 本 文 将 详 细 介 绍 F i r e f l y 项 目 中 时 如 何 充 分 高 效 利 用 多 轮 对 话 数 据 训 练 大 模 型 。 注 意 ， 我 们 重 点 圈 出 了 【 充 分 】 和 【 高 效 】 两 个 关 键 词 ， 这 是 F i r e f l y 项 目 训 练 多 轮 对 话 的 特 点 。 F i r e y f l y 项 目 链 接 : h t t p s : / / g i t h u b . c o m / y a n g j i a n x i n 1 / . . . P o s t e d b y B Y J o n S e p t e m b e r 2 , 2 0 2 3 解 码 的 生 成 多 样 性 是 大 模 型 呀 解 码 的 生 成 多 样 性 原 文 出 处 : h t t p s : / / h u g g i n g f a c e . c o / d o c s / t r a n s f o r m e r s / v 4 . 1 8 . 0 / e n / m a i n _ c l a s s e s / t e x t _ g e n e r a t i o n h t t p s : / / h u g g i n g f a c e . c o / b l o g / z h / h o w t o g e n e r a t e 对 于 自 回 归 文 本 生 成 任 务 中 的 预 训 练 模 型 ， 每 一 个 框 架 都 有 对 应 的 g e n e r a t e 生 成 方 法 ， 一 般 封 . . . P o s t e d b y B Y J o n A u g u s t 1 4 , 2 0 2 3 大 型 语 言 模 型 初 探 + 实 施 路 线 探 讨 是 大 模 型 呀 大 型 语 言 模 型 初 探 + 实 施 路 线 探 讨 ​ 4 月 初 惊 艳 于 C h a t G P T 与 s t a b l e d i f f u s i o n 的 模 型 效 果 ， 才 发 觉 自 己 跟 业 界 最 新 进 展 落 后 的 程 度 很 大 ( 还 停 留 在 B e r t 时 代 ) ， 所 以 对 相 关 内 容 开 始 了 一 顿 恶 补 ， 并 初 步 进 行 了 动 手 尝 试 ， 下 面 简 要 总 结 下 大 模 型 前 期 的 调 研 与 这 两 天 的 实 践 成 果 。 ​ 近 期 做 的 尝 试 主 要 进 行 了 模 型 微 调 与 上 层 应 用 构 建 两 件 事 ， 时 间 跨 度 分 别 为 1 0 天 与 1 天 。 起 初 模 型 微 调 效 果 不 理 想 . . . P o s t e d b y B Y J o n A p r i l 2 3 , 2 0 2 3 电 影 聚 合 网 站 的 建 设 前 后 端 建 站 全 过 程 回 顾 P r o g r a m m i n g M a s s i v e l y P a r a l l e l P r o c e s s o r s ​ 疫 情 三 年 ， 经 历 很 多 了 事 情 ， 年 纪 也 来 到 了 3 2 岁 ， 这 三 年 熟 悉 的 朋 友 大 部 分 都 离 开 了 北 京 ， 自 己 的 心 境 也 发 生 了 很 多 变 化 ， 由 焦 虑 、 抑 郁 逐 渐 转 为 目 前 的 自 洽 ， 才 发 现 这 是 一 场 与 自 己 斗 争 的 战 争 ， 幸 运 的 事 ， 这 场 战 争 目 前 我 幸 存 下 来 了 。 由 于 在 抗 争 的 过 程 中 ， 发 现 自 己 的 时 间 原 来 可 以 去 做 好 多 事 情 ， 不 是 只 躺 在 床 上 打 游 戏 浪 费 时 间 ， 时 间 真 是 个 好 东 西 。 ​ 言 归 正 传 ， 本 篇 呢 ， 是 今 年 开 始 逐 渐 给 自 己 找 事 做 ， 自 己 建 了 一 个 小 站 的 . . . P o s t e d b y B Y 张 建 o n A p r i l 2 0 , 2 0 2 3 C U D A P a r a l l e l p a t t e r n s c o n v o l u t i o n P r o g r a m m i n g M a s s i v e l y P a r a l l e l P r o c e s s o r s 本 章 主 要 介 绍 了 卷 积 作 为 一 种 重 要 的 并 行 计 算 模 式 。 首 先 展 示 了 基 本 的 并 行 卷 积 算 法 ， 其 执 行 速 度 受 到 了 D R A M 带 宽 的 限 制 。 然 后 提 出 了 t i l i n g k e r n e l 。 并 介 绍 了 一 种 数 据 缓 存 的 简 化 版 代 码 。 最 后 介 绍 了 2 D 卷 积 核 。 在 高 性 能 计 算 中 ， 卷 积 通 常 称 为 s t e n c i l c o m p u t a t i o n 。 因 为 每 一 个 输 出 元 素 均 可 以 独 立 计 算 ， 且 输 入 数 据 共 享 了 输 出 元 素 ， 这 些 特 性 使 得 卷 积 成 为 复 杂 t i l i n g 方 法 与 输 入 数 据 分 布 策 . . . P o s t e d b y B Y J o n A u g u s t 8 , 2 0 1 9 C U D A P e r f o r m a n c e c o n s i d e r a t i o n s P r o g r a m m i n g M a s s i v e l y P a r a l l e l P r o c e s s o r s 性 能 考 量 在 不 同 的 应 用 程 序 中 ， 由 于 不 同 因 素 ， 经 常 会 遇 到 性 能 瓶 颈 。 我 们 需 要 考 虑 清 楚 是 算 法 策 略 还 是 硬 件 因 素 的 影 响 ， 基 于 这 个 认 识 ， 本 章 将 给 出 算 法 模 式 的 类 型 对 高 性 能 表 现 的 影 响 。 全 局 内 存 带 宽 影 响 C U D A K e r n e l 表 现 的 主 要 因 素 之 一 是 对 全 局 内 存 的 数 据 访 问 。 本 节 将 介 绍 M e m o r y c o a l e s c i n g 技 术 ， 该 技 术 经 常 与 t i l i n g 技 术 一 起 应 用 以 高 效 利 用 全 局 内 存 带 宽 。 C U D A 设 备 中 全 局 内 存 的 实 现 . . . P o s t e d b y B Y J o n J u l y 2 4 , 2 0 1 9 深 度 学 习 模 型 性 能 影 响 分 析 模 型 参 数 ， 内 存 访 问 h t t p : / / m a c h i n e t h i n k . n e t / b l o g / h o w f a s t i s m y m o d e l / 在 移 动 端 部 署 深 度 学 习 模 型 时 ， 准 确 率 并 不 是 唯 一 需 要 衡 量 的 因 素 ， 还 需 要 考 虑 以 下 4 个 方 面 ： 模 型 占 用 的 a p p 内 存 空 间 大 小 一 个 模 型 可 能 给 a p p 增 加 1 0 0 M B 。 运 行 时 占 用 的 内 存 大 小 i P h o n e 和 i P a d 的 G P U 会 占 用 设 备 的 全 部 R A M ， 但 是 只 有 几 G B 。 模 型 运 行 的 速 度 特 别 是 当 运 行 实 . . . P o s t e d b y B Y J o n J u l y 1 2 , 2 0 1 9 C U D A M e m o r y a n d d a t a l o c a l i t y P r o g r a m m i n g M a s s i v e l y P a r a l l e l P r o c e s s o r s 本 章 总 结 了 共 享 内 存 的 用 法 以 及 注 册 器 可 以 影 响 每 个 流 多 处 理 器 能 容 纳 的 线 程 B L O C K 的 数 量 — m e m o r y b o u n d . 迄 今 为 止 我 们 了 解 的 知 识 只 是 挖 掘 了 潜 在 硬 件 性 能 的 很 小 一 部 分 . 程 序 的 糟 糕 表 现 主 要 是 由 于 全 局 内 存 的 长 访 问 延 迟 和 有 限 的 获 取 带 宽 , 通 常 是 由 D y n a m i c R a n d o m A c c e s s M e m o r y . ( D R A M ) . 内 存 高 效 访 问 的 重 要 性 c o m p u t e t o g l o b a l m e m o r y a c c . . . P o s t e d b y B Y J o n J u l y 1 , 2 0 1 9 O l d e r P o s t s → F E A T U R E D T A G S D e e p L e a r n i n g C U D A 大 模 型 A B O U T M E 改 变 ， 行 动 ， 自 律 ! b y B Y 简 知 ✉ ️ m e n g z h a n g j i a n @ g m a i l . c o m F R I E N D S W Y 简 书 · B Y A p p l e A p p l e D e v e l o p e r b y B Y 简 b y H u x 知 C o p y r i g h t © A l p h a 2 0 2 5 T h e m e o n G i t H u b | 京 I C P 备 2 0 2 2 0 3 2 7 4 5 号 京 公 网 安 备 1 1 0 1 1 4 0 2 0 1 3 7 0 6 号

域名(www.yuansearch.com)由网友主动性提交被小玖导航-秒收录整理收录的，本页最后更新时间为：2025-08-10 07:03:36，小玖导航-秒收录仅提供www.yuansearch.com的基础信息并免费向广大游客展示，该站IP地址为- 地址：-，该站打开速度为246毫秒，该站的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、www.yuansearch.com的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、迄今为止已经创建未知，其内容不代表本站赞成被显示该站点的内容或立场，相关资料: txt下载、docx下载、pdf下载、rar下载、zip下载，本页地址：http://www.xiaojiuz.com/links/0b96010b9adbd29f0131.html。