The life and times of Cornelius Root: Copying mass amounts of data over a network with bash, rsync, and ssh

Tagged with howto ,  programming ,  server ,  tips

.htaccess,  3d,  ab,  access,  accessibility,  actionscript,  activism,  adobe,  adrianholovaty,  advertising,  africa,  agencies,  agency,  aggregator,  agile,  ai,  aids,  airfare,  airlines,  airtravel,  ajax,  AlanKay,  alekseypetrosian,  algebra,  algorithm,  Algorithms,  allegrocache,  amf,  amigoa,  amigos,  analysis,  analytics,  anedoctes,  animals,  animation,  anthropology,  apache,  api,  appengine,  applet,  apps,  architecture,  archive,  aristoteles,  arnaldobranco,  art,  articles,  as3,  asdoc,  asynchronous,  atheism,  audio,  augmentedreality,  australia,  auth,  authentication,  authorization,  autodesk,  automa,  automata,  automation,  autotools,  avibryant,  awards,  away3d,  aws,  babies,  backup,  barcode,  bash,  bayesan-classifiers,  bbc,  benchmark,  bezier,  bigdata,  bigo,  biology,  blog,  blogger,  blogging,  blogs,  boipeba,  book,  bookmarklets,  books,  bradford-cross,  brain,  brasil,  braziliancompany,  browser,  brucheschneier,  buddhism,  build,  bulk-loader,  bulkloader,  bullshit,  burocracia,  bush,  business,  butterfly,  buzz,  c,  cache,  caching,  calendar,  canvas,  career,  carol,  cartier-bresson,  cartoon,  caseyreas,  cassandra,  cat,  catalyst,  ccm,  cerveja,  chart,  charting,  charts,  chat,  chatroulette,  cheatsheet,  chile,  chrome,  city,  civichacking,  civics,  classifieds,  clientes,  clojure,  closures,  cloud,  cloudera,  clustering,  cms,  cnpj,  cocoa,  code,  codecs,  cognition,  collaboration,  color,  colorbrewer,  colors,  comedy,  comet,  comics,  comida,  commandline,  company,  compiler,  components,  composition,  computer,  computergraphics,  computerscience,  computervision,  concurrency,  conf,  configuration,  configure,  cons,  console,  constructor,  Continuations,  converter,  cookbook,  copyright,  corporate,  couchdb,  court,  cptec,  craigslist,  creditcards,  crime,  criticism,  crockford,  crypto,  cryptography,  cs,  css,  culture,  curl,  cute,  cv,  cynergysystems,  cynthiabrewer,  daemontools,  dajax,  data,  data-structures,  database,  datamining,  datasets,  datastructures,  datavisualization,  db,  dci,  debug,  debugging,  decorators,  delivery,  democracy,  denormalization,  deployment,  design,  designpatterns,  desktop,  dev,  deve,  development,  diagram,  diagrams,  disease,  distributed,  djago,  django,  django-admin,  django-app,  django-fields,  django-templatetags,  django-tips,  djangoadmin,  djangocon,  dmitribaltermants,  dns,  doc,  doctorow,  documentation,  DOM,  domains,  douglasbowman,  douglascrockford,  download,  dreamhost,  drm,  drugs,  drupal,  DSL,  dvcs,  dvd,  dylan,  dynamic-languages,  easing,  ebook,  ec2,  ecommerce,  economics,  ecstasy,  editor,  education,  email,  emal,  emergence,  emotions,  empresa,  encoding,  encryption,  enterprise,  entrepreneurship,  epidemiology,  epistemiology,  epistemology,  equations,  ergonomy,  erlang,  essay,  etiquette,  europe,  event-driven,  events,  everyblock,  evolution,  example,  exceptions,  exercises,  experimental,  eyetracking,  facebook,  factory,  faq,  feedreader,  feeds,  ffmpeg,  file,  fileuploading,  film,  finance,  fink,  firefox,  firefox-extenstion,  firewall,  fix,  flare,  flash,  flash-automation,  flash-games,  flash-loading,  flashplayer,  flash_gotchas,  flex,  flightcaster,  flights,  float,  flog,  floorplan,  flv,  fold,  font,  fonts,  food,  foods,  forecast,  forms,  forum,  fotoógrafos,  framework,  free,  freedom,  friends,  fun,  functional,  funny,  future,  futurology,  g20,  gambling,  game,  games,  generator,  genetic,  geo,  geodjango,  geolocation,  geometry,  gettext,  giladbracha,  gis,  git,  github,  gmail,  gnu,  good,  good html,  google,  googlemaps,  gore-vidal,  gotchas,  government,  gpg,  graph,  graphics,  graphivz,  graphs,  graphviz,  grid,  gringo,  groupware,  gui,  guide,  guidelines,  ha,  hack,  hacking,  hacks,  hadoop,  halfmask,  hardware,  hash,  haskel,  haskell,  hci,  hdfs,  headers,  health,  hedgefunds,  hendrix,  hg,  hiring,  History,  hitchcock,  hospitais,  hosting,  howto,  hq,  hrim,  html,  html2pdf,  html5,  http,  https,  humor,  hurl,  i18n,  ibm,  icons,  ide,  imagemanipulation,  images,  inference,  infographics,  information,  inheritance,  input,  inspiration,  install,  inteligence,  intelligence,  interaction,  interactiondesign,  interactive,  interactive-art,  interesting,  interface,  internationalization,  Internet,  interprocess,  interview,  intranet,  investment,  io,  ioc,  ip,  ipc,  iphone,  iptables,  ipython,  iraqwar,  issue-tracker,  ita,  jakobnielsen,  java,  javascript,  jazz,  jobs,  johnresig,  journalism,  jquery,  js,  jsfl,  json,  jurnalism,  key-value,  keyvalue,  knowledge,  larica,  larsbak,  launchd,  learning,  lectures,  lexer,  library,  lifehacks,  lightroom,  linear-algebra,  linearalgebra,  linguistics,  linux,  lisp,  literatura,  literature,  load,  loading,  logging,  london,  mac,  machine-learning,  macports,  madlibs,  make,  makefiles,  management,  map,  mapping,  mapreduce,  maps,  marcandreessen,  mashup,  mass,  math,  mckinstry,  media,  medicine,  memcache,  memcached,  memory,  mercurial,  metaclass,  metaprogramming,  methodology,  metrics,  microformats,  microsoft,  middle-east,  mikemalone,  miles,  mint,  mit,  mixins,  mobile,  moderation,  modules,  mod_rewrite,  money,  monitoring,  mootools,  mortgage,  movies,  mozilla,  mptt,  multi-touch,  multitouch,  music,  mvc,  myclients,  mysql,  n95,  natural-language,  nature,  nellymoser,  nestedset,  netflix,  network,  networking,  neuralnets,  neurology,  newbie,  newforms,  newmark,  news,  newspaper,  newspapers,  newyork,  nginx,  noamchomski,  noir,  nonrelational,  nosql,  notifications,  nytimes,  oauth,  obama,  ocr,  office,  onlinestorage,  oop,  opencourseware,  opencv,  opendata,  openid,  OpenSource,  openstreetmap,  openstreetmaps,  operatingsystem,  optimization,  orm,  osm,  osmf,  OSX,  overheard,  packages,  packaging,  pagefold,  pagseguro,  paper,  papers,  papervision,  parser,  password,  patch,  patterns,  paulgraham,  payment,  pdf,  peixe,  perball,  performance,  perl,  permissions,  personal,  pgp,  philosophy,  photo,  photography,  photojournalism,  photosketch,  phycology,  physics,  pitfalls,  plugin,  plugins,  podcast,  politics,  popularity,  porn,  portal,  portfolio,  postgresql,  predictions,  preloading,  presentation,  privacy,  pro,  processes,  processing,  product,  profiling,  programmer,  programming,  programming-languages,  projectmanagement,  protest,  protocol,  prototype,  prototyping,  protovis,  psychedelics,  psychology,  public-transport,  pycon,  pyobjc,  python,  qa,  qt,  quicktime,  Quotes,  rango,  ranking,  rants,  raphael,  ratings,  reading,  readlater,  realitytv,  reallife,  realstate,  realtime,  rebol,  receita,  redis,  reference,  referências,  regex,  relational,  reporting,  request,  research,  resources,  ressearch,  rest,  restful,  resume,  ria,  ribbon,  richard-feyman,  robertpenner,  robpike,  ropes,  rrdtool,  rsi,  ruby,  rubyonrails,  russia,  s3,  salary,  salgados,  sanfrancisco,  saopaulo,  sc,  scala,  scalability,  scheduling,  scheme,  science,  scientificamerican,  scm,  scraping,  screen,  scripting,  scrolling,  scrum,  security,  sed,  selenium,  semantic-web,  server,  servers,  service,  sessions,  sethgodn,  setup,  sex,  sexuality,  shell,  shopping,  shortcuts,  siege,  sifr,  signals,  signup,  singh,  skin,  sleep,  slicehost,  slides,  slime,  smalltalk,  sms,  snipmate,  snippet,  social,  social-apps,  social-interaction,  society,  sockets,  software,  source,  spam,  specification,  speech,  splittesting,  sports,  sql,  SRT,  ssl,  stalin,  stamen-design,  standards,  startup,  startups,  statistics,  stats,  stock photos,  storage,  story,  strategy,  string,  strings,  strong-ai,  studio,  studios,  subprime,  subprocess,  subtitles,  subway,  suicide,  super,  svg,  svn,  swiz,  sy,  sysadmin,  tagging,  talks,  tcp/ip,  technical,  technology,  template,  templates,  terminal,  terrain,  terrorism,  testing,  tetris,  text,  textdrive,  textmate,  theopavlidis,  theory,  thinking,  threading,  tiles,  tips,  tls,  to,  tomcarden,  tool,  toolkit,  tools,  toread,  towatch,  trac,  traits,  transactions,  transcoding,  transparency,  trees,  tricks,  trigonometry,  troubleshooting,  truffaut,  tty,  tufte,  tutorial,  tween,  twisted,  twitter,  typeface,  Typography,  ubuntu,  ui,  unicode,  unittesting,  unix,  upc,  upload,  uptime,  urbanism,  usa,  usability,  userexperience,  utf8,  utilities,  ux,  V8,  vagina,  varnish,  versioncontrol,  viagem,  video,  videoclip,  vim,  vision,  visualeffects,  visualisation,  visualization,  vm,  w3c,  wallstreet,  war,  weather,  web,  web2.0,  webapp,  webcam,  webdesign,  webdev,  webdevelopment,  webservice,  webservices,  wedev,  whales,  whois,  widget,  wiki,  wikipedia,  windows,  wired,  women,  wordperfect,  work,  workflow,  workplace,  worldbank,  wsgi,  wsj,  xhtml,  xml,  ycombinator,  yui,  zeitgeist,  zope