Python读取大文件

枫铃3年前 (2021-09-30)Python220

前言:通常对于大文件读取及处理,不可能直接加载到内存中,因此进行分批次小量读取及处理

1、第一种读取方式

一行一行的读取,速度较慢

def read_line(path):
    with open(path, 'r', encoding='utf-8') as fout:
        line = fout.readline()
        while line:
            line = fout.readline()
            print(line)

2、第二种读取方式

设置每次读取大小,从而完成多行快速读取

'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:531509025
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
def read_size(path):
    with open(path, "r", encoding='utf-8') as fout:
        while 1:
            buffer = fout.read(8 * 1024 * 1024)
            if not buffer:
                break
            print(buffer)

3、第三种读取方式

使用itertools模块,islice返回的是一个生成器,可以用list格式化

from itertools import islice
def read_itertools(path):
    with open(path, 'r', encoding='utf-8') as fout:
        list_gen = islice(fout, 0, 5)  # 两个参数分别表示开始行和结束行
        for line in list_gen:
            print(line)

相关文章

利用python同步windows和linux文件

写python脚本的初衷,每次在windows编辑完文件后,想同步到linux上去,只能够登录服务器,...

爬虫基本原理

爬虫基本原理 一、爬虫是什么? 百度百科和维基百科对网络爬虫的定义:简单来说爬虫就是抓取目标网站内容的工具,一般是根据定义的行...

Django 函数和方法的区别

函数和方法的区别 1、函数要手动传self,方法不用传 2、如果是一个函数,用类名去调用,如果是一个方法...

Django 知识补漏单例模式

单例模式:(说白了就是)创建一个类的实例。在 Python 中,我们可以用多种方法来实现单例模式&#x...

Django基础知识MTV

Django简介 Django是使用Python编写的一个开源Web框架。可以用它来快速搭建一个高性能的网站。 Django也是一个MVC框架。但是在Dj...

Python mysql 索引原理与慢查询优化

一 介绍 为何要有索引? 一般的应用系统,读写比例在10:1左右,而且插入操作和一般的更新操作很少出现性能问题,...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。