Получить размер файла перед загрузкой в ​​Python

Я загружаю весь каталог с веб-сервера. Это работает нормально, но я не могу понять, как получить размер файла перед загрузкой, чтобы сравнить, был ли он обновлен на сервере или нет. Можно ли это сделать так, как если бы я загружал файл с FTP-сервера?

import urllib
import re

url = "http://www.someurl.com"

# Download the page locally
f = urllib.urlopen(url)
html = f.read()
f.close()

f = open ("temp.htm", "w")
f.write (html)
f.close()

# List only the .TXT / .ZIP files
fnames = re.findall('^.*<a href="(\w+(?:\.txt|.zip)?)".*$', html, re.MULTILINE)

for fname in fnames:
    print fname, "..."

    f = urllib.urlopen(url + "/" + fname)

    #### Here I want to check the filesize to download or not #### 
    file = f.read()
    f.close()

    f = open (fname, "w")
    f.write (file)
    f.close()

@Jon: спасибо за быстрый ответ. Это работает, но размер файла на веб-сервере немного меньше, чем размер загружаемого файла.

Примеры:

Local Size  Server Size
 2.223.533  2.115.516
   664.603    662.121

Это как-то связано с преобразованием CR / LF?

8.08.2008 13:35:19
Возможно. Можете ли вы запустить diff и увидеть разницу? Также вы видите разницу в размере файла в бинарных (.zip) файлах? Редактировать: Здесь пригодятся такие вещи, как Etags. Сервер сообщит вам, когда что-то изменится, поэтому вам не нужно загружать полный файл, чтобы выяснить это.
Jonathan Works 8.08.2008 14:07:12
вы правы, я не использовал "wb" при открытии локального файла для записи. Работает как шарм! Thx
PabloG 29.01.2011 15:23:53
8 ОТВЕТОВ
РЕШЕНИЕ

Я воспроизвел то, что вы видите:

import urllib, os
link = "http://python.org"
print "opening url:", link
site = urllib.urlopen(link)
meta = site.info()
print "Content-Length:", meta.getheaders("Content-Length")[0]

f = open("out.txt", "r")
print "File on disk:",len(f.read())
f.close()


f = open("out.txt", "w")
f.write(site.read())
site.close()
f.close()

f = open("out.txt", "r")
print "File on disk after download:",len(f.read())
f.close()

print "os.stat().st_size returns:", os.stat("out.txt").st_size

Выводы это:

opening url: http://python.org
Content-Length: 16535
File on disk: 16535
File on disk after download: 16535
os.stat().st_size returns: 16861

Что я здесь не так делаю? Os.stat (). St_size не возвращает правильный размер?


Изменить: ОК, я понял, в чем проблема:

import urllib, os
link = "http://python.org"
print "opening url:", link
site = urllib.urlopen(link)
meta = site.info()
print "Content-Length:", meta.getheaders("Content-Length")[0]

f = open("out.txt", "rb")
print "File on disk:",len(f.read())
f.close()


f = open("out.txt", "wb")
f.write(site.read())
site.close()
f.close()

f = open("out.txt", "rb")
print "File on disk after download:",len(f.read())
f.close()

print "os.stat().st_size returns:", os.stat("out.txt").st_size

это выводит:

$ python test.py
opening url: http://python.org
Content-Length: 16535
File on disk: 16535
File on disk after download: 16535
os.stat().st_size returns: 16535

Убедитесь, что вы открываете оба файла для двоичного чтения / записи.

// open for binary write
open(filename, "wb")
// open for binary read
open(filename, "rb")
32
8.08.2008 14:26:40
когда site = urllib.urlopen(link)вы выполнили загрузку файла, поэтому он не имеет размера перед загрузкой его зараженного файла, загруженного в буфер, из которого вы
Ciasto piekarz 5.07.2014 09:50:31
@ Ciastopiekarz Я думаю, что когда вы пытаетесь прочитать (), файл действительно загружается в буфер, проверьте этот ответ
CaptainDaVinci 31.07.2017 19:54:57
urllib.urlopenбольше не действителен не позднее 3.6
ch4rl1e97 20.06.2019 21:10:51

Размер файла отправляется как заголовок Content-Length. Вот как это сделать с помощью urllib:

>>> site = urllib.urlopen("http://python.org")
>>> meta = site.info()
>>> print meta.getheaders("Content-Length")
['16535']
>>>
6
8.08.2008 13:44:47

Используя метод return-urllib-object info(), вы можете получить различную информацию о восстановленном документе. Пример получения текущего логотипа Google:

>>> import urllib
>>> d = urllib.urlopen("http://www.google.co.uk/logos/olympics08_opening.gif")
>>> print d.info()

Content-Type: image/gif
Last-Modified: Thu, 07 Aug 2008 16:20:19 GMT  
Expires: Sun, 17 Jan 2038 19:14:07 GMT 
Cache-Control: public 
Date: Fri, 08 Aug 2008 13:40:41 GMT 
Server: gws 
Content-Length: 20172 
Connection: Close

Это дикт, поэтому чтобы получить размер файла, вы должны urllibobject.info()['Content-Length']

print f.info()['Content-Length']

А чтобы получить размер локального файла (для сравнения), вы можете использовать команду os.stat ():

os.stat("/the/local/file.zip").st_size
24
8.08.2008 13:47:26
Я использовал это решение, однако я столкнулся с крайним случаем, когда иногда заголовок длины содержимого не определен. Кто-нибудь может объяснить, почему он не будет постоянно возвращен?
user12121234 10.06.2016 18:18:04
stackoverflow.com/questions/22087370/… возможно, это объясняет?
dbr 8.07.2016 13:50:48

Также, если сервер, к которому вы подключаетесь, поддерживает его, посмотрите Etags и заголовки If-Modified-Since и If-None-Match .

Их использование позволит использовать правила кэширования веб-сервера и вернет код состояния 304 Not Modified, если содержимое не изменилось.

6
8.08.2008 13:51:23

В Python3:

>>> import urllib.request
>>> site = urllib.request.urlopen("http://python.org")
>>> print("FileSize: ", site.length)
2
26.08.2014 09:31:46
Это скачивает файл!
Joseph Victor Zammit 4.02.2016 13:39:28

Решение на основе запросов, использующее HEAD вместо GET (также печатает заголовки HTTP):

#!/usr/bin/python
# display size of a remote file without downloading

from __future__ import print_function
import sys
import requests

# number of bytes in a megabyte
MBFACTOR = float(1 << 20)

response = requests.head(sys.argv[1], allow_redirects=True)

print("\n".join([('{:<40}: {}'.format(k, v)) for k, v in response.headers.items()]))
size = response.headers.get('content-length', 0)
print('{:<40}: {:.2f} MB'.format('FILE SIZE', int(size) / MBFACTOR))

использование

$ python filesize-remote-url.py https://httpbin.org/image/jpeg
...
Content-Length                          : 35588
FILE SIZE (MB)                          : 0.03 MB
6
2.06.2017 13:24:18

Для подхода python3 (протестированного на 3.5) я бы порекомендовал:

with urlopen(file_url) as in_file, open(local_file_address, 'wb') as out_file:
    print(in_file.getheader('Content-Length'))
    out_file.write(response.read())
2
8.01.2018 18:38:08

@PabloG Относительно локальной / серверной разницы в размерах файлов

Ниже приводится пояснительное объяснение того, почему это может произойти:

Размер на диске иногда отличается от фактического размера данных. Это зависит от базовой файловой системы и от того, как она работает с данными. Как вы, возможно, видели в Windows при форматировании флешки, вас просят указать «размер блока / кластера», и он варьируется [512b - 8kb]. Когда файл записывается на диск, он записывается в «сортированный список связанных» блоков диска. Когда определенный блок используется для хранения части файла, никакое другое содержимое файла не будет сохранено в том же блоке, поэтому даже если блок не занимает все пространство блока, блок становится непригодным для использования другими файлами.

Пример: когда файловая система разделена на блоки размером 512 байт, и нам нужно сохранить файл размером 600 байт, два блока будут заняты. Первый блок будет полностью использован, в то время как второй блок будет использовать только 88b, а оставшийся (512-88) b будет непригодным для использования, в результате чего размер файла на диске будет 1024b. Вот почему в Windows используются разные обозначения для «размера файла» и «размера на диске».

ПРИМЕЧАНИЕ: Существуют различные плюсы и минусы, которые приходят с меньшим / большим блоком FS, поэтому лучше поиграйте перед игрой с вашей файловой системой.

0
28.01.2020 20:45:55