搜索
AI coding copilots迅速融入开发流程，提升开发效率，协作是未来趋势，开发者与AI将共同推动编程的变革。
Copilot 正成为 AI 代码产品的主力军。
AI Coding是一个我很感兴趣的方向。
AI coding 是模型推理能力增加之后的下一个竞争高地，除了模型厂商、AI Labs 之外，这个领域的参与者也有着 Cursor 这样的初创团队。
TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。
随着人工智能技术的迅速进步，AI驱动的代码生成工具正在深刻变革软件开发的流程。Cursor作为一款专注于AI集成的代码编辑器，凭借其先进功能迅速崛起，已吸引了超过30,000名客户，并在GitHub上获得了22.4k的Star，显示出其在开发者社区中的广泛认可。
高端的食材，往往只需要最朴素的烹饪方式；高端的提示词也一样，把Top-K写进来，一个专属于你的CoT-decoding解码策略应运而生！丝毫不要怀疑LLM的推理能力，在这个维度上，它比我们懂！
AI编程初创公司Magic发布1亿上下文窗口模型，编码能力超级加倍
专注于计算机图形学的全球学术顶会 SIGGRAPH，正在出现新的趋势。
推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。