
根据天眼查 App 公开的信息,华为技术有限公司申请的一项名为“AI模型的运行方法、装置、程序产品和存储介质”的专利已于9月5日对外公布。
该专利摘要指出,本发明涉及机器学习技术领域,提供了一种用于AI模型运行的技术方案。该方法适用于包含处理器并连接有计算卡的主机设备。具体包括:由处理器识别AI模型在连续两组输入数据中,存在于第二数据组而不存在于第一数据组的第一数据,其中第二数据组在训练顺序上晚于第一数据组;随后将该第一数据对应的第一嵌入向量预先加载至处理器的第一内存,并获取其对应的嵌入向量信息;在计算卡处理第二数据组的过程中,依据该信息将第一嵌入向量从第一内存提前预取至计算卡的第二内存中。通过该方案,可有效降低因嵌入向量传输所导致的处理延迟,提升AI模型运行效率。
以上就是华为 AI 模型运行专利公布的详细内容,更多请关注php中文网其它相关文章!
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号